매년 12월(또는 새해 1월)에 들어서면 국내 대다수 기업의 회의실 풍경이 눈에 띄게 분주해집니다. 한 해 동안 조직과 구성원이 일궈낸 결실을 차분히 매듭짓고, 한정된 보상 재원과 승진 티켓을 누구에게 배분할지 결정하는 연말 성과평가와 캘리브레이션(Calibration, 등급 조정) 세션이 본격적으로 시작되기 때문입니다. 일 년 내내 현장에서 고락을 함께한 팀원들의 노고를 누구보다 잘 아는 팀장들에게는 한 사람 한 사람에게 매기는 알파벳 등급과 점수 하나가 무거운 마음의 짐으로 다가오는 시기이기도 하죠. 다른 부서 리더들과 마주 앉아 각자의 팀원을 변호하고 조직 차원의 등급 비율을 맞춰야 하는 캘리브레이션 회의실에서는 묘한 긴장감이 흐르곤 합니다.
그런데 이 치열한 조정 회의를 가만히 관찰해 보면 해마다 반복되는 익숙한 풍경이 있습니다. "우리 팀 김 과장은 4명뿐인 소수 정예 조직에서 압도적인 1등을 했습니다. 당연히 S등급을 받아야 마땅합니다", "저쪽 25명짜리 사업본부의 박 대리는 4등이라면서요? 4등이나 한 사람에게 어떻게 우리 팀 1등과 똑같은 최상위 고과를 줍니까?"라는 식의 목소리입니다. 우리는 숫자가 가장 객관적이고 공정한 지표라고 믿습니다. 그래서 '1등', '2등'이라는 명쾌한 순위표가 제시되는 순간, 그 숫자가 품고 있는 마법 같은 권위에 무의식적으로 설득당하곤 합니다. 일등은 언제나 빛나 보이고, 순위가 두 자릿수로 밀려난 인재는 어딘가 모르게 아쉬워 보이는 착시가 일어나는 것이죠.
하지만 과연 그럴까요? 작은 배 안에서 깃발을 꽂은 1등과, 거대한 함선에서 치열한 격전을 뚫고 4등을 지켜낸 사람의 무게를 단순히 '1'과 '4'라는 서수(Ordinal Number)로만 비교해도 괜찮은 걸까요? 숫자는 때로 가장 객관적인 얼굴을 한 채 리더의 눈을 속이는 정교한 착시 도구가 되기도 합니다.
등수의 마법과 최상위 근접 편향
우리는 왜 유독 앞선 등수에 마음을 빼앗기는 걸까요? 지난 2026년 10월, 하버드 비즈니스 리뷰(HBR)에 매우 시의적절하고 흥미로운 연구 결과가 실렸습니다. 재키 실버먼(Jackie Silverman), 유리 바르네아(Uri Barnea), 앨리스 문(Alice Moon) 교수가 기고한 Why Managers Misread Rankings라는 아티클입니다. 이 기고문의 뼈대가 된 연구는 같은 해 저명 학술지인 Organizational Behavior and Human Decision Processes에 게재된 이들의 공동 논문, How rank position and list length shape people's evaluations에 상세히 실려 있습니다.
연구진이 발견한 인간 심리의 취약점은 명확했습니다. 사람들은 여러 대안을 순위표(Ranking)로 받아볼 때, 그 대안이 속한 전체 집단의 크기(List Length)를 합리적으로 계산에 반영하지 못한다는 사실입니다. 실험 참가자들에게 두 명의 후보를 보여주었습니다. 한 후보는 8명으로 구성된 팀에서 '2등'을 기록한 인물이었고, 다른 후보는 16명으로 구성된 팀에서 '4등'을 기록한 인물이었습니다. 두 팀 모두 성과 순위가 매겨져 있었고, 참가자들에게는 전체 인원수와 해당 직원의 순위가 모두 투명하게 공개되었습니다.
잠시 산수를 해볼까요? 8명 중 2등은 상위 25%에 해당합니다. 16명 중 4등 역시 상위 25%에 해당하죠. 두 사람의 상대적 백분위(Percentile)는 정확하게 일치합니다. 아니, 엄밀하게 따져보면 16명 중 4등을 한 인물은 무려 12명의 동료를 제치고 상위권에 오른 사람입니다. 반면 8명 중 2등을 한 인물은 고작 6명을 제쳤을 뿐입니다. 통계적 표본의 크기와 경쟁의 치열함을 감안한다면, 큰 집단에서 상위 25%를 지켜낸 인재의 실력이 우연이나 운에 기인하지 않았을 확률이 훨씬 높습니다. 하지만 실험 결과는 우리의 수학적 상식을 정면으로 배반했습니다. 관리자들은 8명 중 2등을 한 직원을 16명 중 4등을 한 직원보다 압도적으로 더 우수하다고 평가했고, 더 많은 보너스와 우선 승진 추천을 부여했습니다.
왜 이런 불합리한 선택이 벌어지는 걸까요? 인간의 직관은 분모를 계산하는 복잡한 나눗셈을 극도로 싫어하기 때문입니다. 우리는 '2등'이라는 숫자를 보는 순간 무의식적으로 금메달 바로 옆에 놓인 은메달을 떠올립니다. 시상대(Podium)의 가장 높은 곳에 닿아 있다는 인상이 뇌리를 강타하죠. 반면 '4등'이라는 숫자를 보는 순간, 메달권 밖으로 밀려난 아쉬운 등수라는 낙인을 찍어버립니다. 그 4등이 100명 중 4등이든, 20명 중 4등이든 상관없이 '숫자 4'가 주는 심리적 거리가 '숫자 2'보다 멀게 느껴지는 것입니다. 평가 시즌에 쫓기는 관리자들은 수십 장의 실적 보고서와 다면평가 코멘트를 읽느라 인지적 과부하 상태에 빠집니다. 그 결과 머릿속에서 '등수 ÷ 전체 인원'이라는 지극히 단순한 상대화 연산을 생략한 채, 가장 도드라지는 휴리스틱(Heuristic, 직관적 어림짐작)인 '1등과의 거리'에 결정을 맡겨버리는 것입니다.
결국 작은 팀의 상위자는 단지 '경쟁자의 수가 적었다'는 행운 덕분에 최정상과의 거리가 가깝다는 착시를 선물 받습니다. 반대로 큰 팀의 실력자는 더 많은 경쟁을 뚫고 탁월한 성과를 증명했음에도 불구하고, 분모가 크다는 이유로 뒤로 밀린 등수 표기 때문에 부당한 저평가를 받게 됩니다. 등수라는 숫자가 품은 간결함과 명료함이, 역설적으로 리더가 반드시 들여다보아야 할 성과의 구조적 맥락을 철저하게 지워버리는 셈입니다.
모수를 지운 등수가 낳는 불공정
이러한 인지적 왜곡은 단지 실험실 안의 가상 시나리오에 머물지 않습니다. 지금 이 순간, 국내 수많은 기업의 캘리브레이션 회의실에서 매일같이 벌어지고 있는 현실의 비극입니다. 가상의 사례를 하나 떠올려보겠습니다. 신기술을 시험하기 위해 조직된 5명 규모의 신규 프로젝트 TF팀의 이 팀장과, 회사의 주력 매출을 책임지는 20명 규모의 플랫폼운영팀 정 팀장이 본부 캘리브레이션 회의에서 마주 앉았다고 해보죠. 본부 전체에 배정된 S등급 티켓은 단 한 장뿐이고, A등급 역시 엄격한 상대 비율로 제한되어 있습니다.
이 팀장은 목소리를 높입니다. "저희 TF팀 최 대리는 5명 중에서 당당히 1등을 차지했습니다. 새로운 파일럿 과제를 완벽하게 완수했고, 팀 내 1등이니 우리 팀의 자존심을 걸고 본부 S등급으로 올려야 합니다." 이에 맞서 정 팀장이 서류를 펼치며 반박합니다. "이 팀장님, 저희 플랫폼운영팀의 강 과장은 20명 중에서 2등을 했습니다. 플랫폼 장애율을 전년 대비 40% 낮췄고, 무려 18명의 쟁쟁한 동료들을 제쳤습니다. 백분위로 따지면 상위 10%입니다. 최 대리는 4명을 제치고 1등을 한 것이니 상위 20%인데, 어떻게 2등이라는 숫자만 보고 강 과장을 A등급으로 내립니까?"
회의실을 채운 다른 리더들의 표정을 보면 아주 흥미롭습니다. 머리로는 정 팀장의 말이 맞다는 것을 알면서도, 마음 한구석에서는 "그래도 팀에서 1등을 한 사람에게 최고 등급을 줘야지, 2등을 한 사람에게 최고 고과를 주면 모양새가 안 살지 않나?"라는 막연한 거부감이 고개를 듭니다. '1등'이라는 단어가 주는 상징적 종결성이 너무나 강렬하기 때문입니다. 결국 타협이라는 미명하에 5명 중 1등을 한 최 대리에게 S등급이 돌아가고, 20명 중 2등을 한 강 과장은 억울하게 A등급에 머물게 됩니다. 더 기막힌 일은 20명 중 3등과 4등을 한 실력자들에게 일어납니다. 이들은 상위 15%, 상위 20%라는 뛰어난 성취를 거두었음에도 불구하고, '3등', '4등'이라는 숫자가 붙어 있다는 이유만으로 5명 중 2등(상위 40%)을 한 TF팀 팀원보다 낮은 등급으로 밀려나기 십상입니다.
이것이 과연 공정한 평가일까요? 성과평가 연구의 고전으로 꼽히는 스티븐 스컬런(Steven E. Scullen), 마이클 마운트(Michael K. Mount), 메이나드 고프(Maynard Goff) 교수의 2000년 연구는 이 지점에서 우리에게 서늘한 경종을 울립니다. 이들이 Journal of Applied Psychology에 발표한 기념비적 논문 Understanding the Latent Structure of Job Performance Ratings에 따르면, 조직에서 매겨지는 성과평가 점수의 변량(Variance) 중 피평가자의 실제 업무 성과 차이가 설명하는 비중은 고작 20~25% 수준에 불과합니다. 놀랍게도 평가 점수 차이의 62% 이상은 평가자 개인의 독특한 인지 성향, 관대화나 가혹화 같은 편향, 그리고 측정 체계의 오류(Idiosyncratic Rater Effect)에서 비롯됩니다.
평가 점수 자체가 이미 평가자의 주관과 인지 왜곡에 깊이 물들어 있는 마당에, 여기에 '모수를 무시한 등수 착시'까지 얹어지면 어떤 일이 벌어질까요? 조직의 성과 보상과 승진 심사는 실력과 기여도를 측정하는 제도가 아니라, '어느 부서, 몇 명짜리 팀에 배치되었는가'를 겨루는 거대한 제비뽑기로 전락하고 맙니다. 큰 팀에서 묵묵히 궂은일을 도맡으며 수많은 경쟁자 속에서 상위 20%를 지켜낸 핵심 인재는 등수 인플레이션에 밀려 탈락하고, 작은 팀에서 손쉬운 과제를 맡아 운 좋게 1등을 꿰찬 직원이 고과와 성과급을 독식하게 되는 것이죠.
지난 호 <판단에도 선이 있습니다>에서 제가 독자 여러분과 나누었던 이야기를 기억하실 겁니다. 드라마 <굿파트너>의 차은경 변호사 사례를 통해, 우리는 전문가이자 리더로서 자신의 주관적 도덕관이나 막연한 감정이 아니라 조직과 의뢰인이 부여한 '역할의 경계' 안에서 최선의 판단을 내려야 한다고 말씀드렸습니다. 평가 캘리브레이션 세션에 들어선 리더의 역할 역시 마찬가지입니다. 리더의 역할은 내 팀원이라는 이유로 무조건 감싸 안거나 눈앞에 보이는 '1등', '2등'이라는 숫자의 편리함에 기대어 타협하는 것이 아닙니다. 평가의 왜곡을 걷어내고, 조직 전체의 자원이 실질적으로 탁월한 기여를 한 사람에게 공정하게 흘러가도록 중심을 잡는 것이야말로 리더가 지켜내야 할 엄중한 판단의 선입니다. (굿파트너 시즌 2가 곧 시작된다니 기대가 큽니다 ^^)
착시를 걷어내는 세 가지 평가 설계
그렇다면 우리는 이 지독한 등수의 함정에서 어떻게 벗어날 수 있을까요? 인간의 뇌가 본능적으로 1등과의 거리에 집착하도록 설계되어 있다면, 리더 개인의 도덕적 결단이나 주의 집중만으로는 이 편향을 뿌리 뽑기 어렵습니다. 인지 편향을 이기는 유일한 길은 편향이 작동하지 못하도록 의사결정의 판을 바꾸는 구조적 장치를 마련하는 것입니다.
다행스럽게도 앞서 소개해 드린 HBR 연구에서 실버먼, 바르네아, 문 교수 연구진은 아주 명쾌하고도 실천적인 해결책을 제시했습니다. 연구진은 실험의 두 번째 단계에서 평가자들에게 단순 등수 대신 '백분위(Percentile)' 정보를 함께 제공해 보았습니다. 즉, 단순히 '2등'이나 '4등'이라고 적어두는 대신, '8명 중 상위 25%', '16명 중 상위 25%'라는 수치를 명시하고 나아가 해당 후보자가 몇 명의 경쟁자를 물리쳤는지를 시각적으로 보여준 것입니다. 결과는 극적이었습니다. 백분위 정보가 주어지자마자 관리자들의 선택이 완전히 뒤집혔습니다. 이전까지 8명 중 2등을 선호하던 관리자들은, 동일한 백분위라면 더 많은 경쟁자를 뚫고 올라온 16명 중 4등 후보를 훨씬 더 높게 평가하기 시작했습니다. 정보의 본질은 그대로 둔 채, 보여주는 방식(Framing)을 바꾸었을 뿐인데 인간의 뇌가 올바른 합리성을 되찾은 것입니다.
이 연구 결과는 지금 당장 캘리브레이션 회의를 준비하는 현장의 리더와 인사 담당자들에게 매우 강력한 세 가지 실무 지침을 던져줍니다.
첫째, 평가 시트와 캘리브레이션 대시보드에서 '단독 등수' 표기를 완전히 퇴출해야 합니다. 팀원이 5명인 팀의 '1등'과 30명인 팀의 '1등'을 같은 서류에 나란히 '1'이라는 숫자로 표기해 두는 순간, 회의실에 앉은 모든 리더의 뇌는 최상위 근접 편향에 감염됩니다. 인사 부서는 평가 자료를 취합할 때 반드시 모수를 병기하는 것을 원칙으로 삼아야 합니다. '1등'이 아니라 '1등 / 5명', '4등 / 20명'처럼 분모를 절대로 생략할 수 없도록 강제해야 합니다. 숫자가 눈에 보이는 것만으로도 무의식적인 나눗셈 연산이 작동하기 시작합니다.
둘째, 원시 등수(Raw Rank)를 '상대 백분위(Percentile Rank)'로 자동 변환하는 표준 환산식을 도입하십시오. 단순히 모수를 병기하는 데서 한 걸음 더 나아가, 시스템 차원에서 상대 백분위를 계산해 등수 옆에 굵은 글씨로 병기해 주는 것입니다. 통계학에서 널리 쓰이는 표준 백분위 공식, 즉 [(모수 - 순위 + 0.5) / 모수] × 100과 같은 수식을 적용하면 직관적인 비교가 가능해집니다. 예컨대 5명 중 1등을 한 직원의 백분위 점수는 90%입니다. 반면 20명 중 1등을 한 직원은 97.5%, 2등을 한 직원은 92.5%가 됩니다. 이렇게 백분위로 환산하여 줄을 세우면, 20명 중 2등을 한 강 과장이 5명 중 1등을 한 최 대리보다 통계적으로 더 희소하고 탁월한 성취를 이루었다는 사실이 회의 참가자들의 눈에 직관적으로 드러납니다. 등수라는 낡은 렌즈를 벗겨내고 백분위라는 정밀한 안경을 씌워주는 것만으로도 소모적인 정치적 줄다리기를 획기적으로 줄일 수 있습니다.
셋째, 캘리브레이션 회의에서 "등수 너머의 절대적 기여"를 검증하는 질문을 제도화해야 합니다. 숫자를 아무리 정교하게 다듬어도, 상대평가 시스템 자체가 안고 있는 태생적 한계는 여전히 남습니다. 상대평가는 기본적으로 '그 팀 안에서 상대적으로 누가 나았는가'만을 보여줄 뿐, 그 팀의 과업 난이도나 절대적 기여의 크기까지 설명해주지는 못합니다. 작은 팀의 1등이 탁월해 보이는 이유가 단지 팀 내 다른 구성원들의 역량이 워낙 떨어져서 반사이익을 얻은 것은 아닌지, 반대로 큰 팀의 5등이 뒤로 밀린 이유가 그 팀에 회사 최고의 에이스들이 몰려 있었기 때문은 아닌지 따져보아야 합니다.
따라서 캘리브레이션 세션을 주재하는 본부장이나 인사 책임자는 테이블 위에 올라온 후보자들을 향해 다음과 같은 질문을 공식적으로 던져야 합니다. "이 직원이 작은 팀의 1등이라서 돋보이는 것입니까, 아니면 전사 어느 팀에 데려다 놓아도 1등을 다툴 만한 절대적 역량을 증명했습니까?", "이 직원이 속한 팀의 목표 달성 난이도는 다른 팀에 비해 어떠했습니까?" 이처럼 등수라는 1차원적 장막을 걷어내고 실제 과업의 임팩트와 재현 가능성을 집요하게 묻는 문화가 정착될 때, 비로소 캘리브레이션은 단순한 밥그릇 싸움에서 벗어나 조직의 진짜 인재를 발굴하는 전략적 대화의 장으로 거듭날 수 있습니다.
평가 시즌이 되면 많은 리더들이 "제도 때문에 어쩔 수 없다", "위에서 정해준 비율에 맞추려니 손이 묶인다"며 무력감을 토로하곤 합니다. 하지만 주어진 제도 안에서도 우리가 어떤 관점으로 데이터를 해석하고, 어떤 질문을 동료 리더들에게 던지느냐에 따라 평가의 공정성은 달라질 수 있습니다. 팀 내 1등이라는 숫자의 화려함에 현혹되지 마십시오. 그 1등 뒤에 숨겨진 모수의 크기를 살피고, 보이지 않는 곳에서 치열하게 경쟁하며 조직을 떠받친 더 넓은 풀의 실력자들을 찾아내십시오. 숫자의 착시를 뚫고 사람의 진짜 가치를 알아보는 안목이야말로, 이 혼란스러운 평가의 계절에 리더가 보여줄 수 있는 가장 깊은 품격일 것입니다.
