J& COMPANY w/HRer 

Issue 23. 다면진단 운영 시 주요 쟁점 8가지
by jason KIM

저희 회사는 창업 직후부터 지금까지 5년간 여러 고객사를 대상으로 다면진단 서비스를 제공하고 있습니다. 문항이 독특하고, 운영도 깔끔하며, 결과 분석 및 보고서 생성도 자동화되어 속도까지 빨라서 좋다는 평이 있습니다. 그 덕분에 최근 다면진단을 의뢰하는 고객사가 많이 늘었습니다. 이렇게 늘어난 고객사와 오랜 업력만큼이나 다양한 고객의 요구에 대응해왔고, 그때마다 서비스가 발전하거나 새로운 교훈을 얻었습니다. 오늘은 그 교훈을 통해 축적된 저희의 다면진단 운영 노하우를 나누고자 합니다. 다면진단이 쉽게 생각하면 그냥 뚝딱 할 수 있는 것 같지만, 잘하려면 세심한 세팅과 의사결정이 필요합니다. 여러분도 저희 회사의 운영 원칙을 이해하시면 자체적으로 다면진단을 시행할 때 도움이 될 것으로 생각합니다. 사실, 아래에서 다루게 될 여러 쟁점 외에 더 디테일한 것이 많이 있지만, 오늘은 고객사와 저희 사이에 자주 논의되는 주요 내용만 담았습니다.

이슈1. 진단 대상자의 관리 범위 내 모든 인원을 평가자(/응답자)로 세팅할 것인가?

일부 고객사에서는 진단 대상자가 임원일 경우 그 휘하에 있는 모든 구성원을 평가자(/응답자)로 세팅하려는 경우가 있습니다. 이러면 한 명의 리더를 평가하는 평가자(/응답자)가 100명이 넘기도 합니다. 이는 저희가 극구 만류하는 방식입니다. 이렇게 최대 다수의 평가자(/응답자)를 세팅할 때 발생하는 문제는 다음과 같습니다. 첫째, 진단 대상자와 접점이 거의 없는 구성원조차도 평가하기 때문에 결과 타당성을 의심받습니다. 입사한 지 1년이 채 되지 않은 신입사원이 임원을 몇 번이나 봤겠습니까? 둘째, 응답 인원이 너무 많아지면 진단 결과의 평균화 현상이 일어납니다. 즉, 결과의 선명함이 떨어지고 중간 어디쯤 위치한 밋밋한 결과를 얻습니다. 셋째, 평가자(/응답자)의 피로도가 높아집니다. 이런 식으로 진단 대상자와 평가자(/응답자)를 매칭하면, 일반 팀원은 임원과 팀장까지 포함하여 상당히 많은 수의 상사에 대해 평가해야 합니다. 그러면 개별 응답에 대한 집중도가 떨어져서 성의 없는 응답을 유도하게 됩니다.


이 이슈를 좀 더 넓게 보면, 진단 대상자 한 명당 평가자(/응답자)를 몇 명을 세팅하는 것이 적절한가와 관련되어 있습니다. 한마디로, 평가자(/응답자) 세팅은 ‘다다익선(多多益善)’이 아닙니다. 오히려, 의미 있는 응답이 가능한 가급적 적은 인원이 세팅되어야 합니다. 저희는 보통 8~12명이 적당하다고 말씀드립니다. 진단 대상자를 기준으로, 상사 1~2명, 동료 3~4명, 후배 4~6명이 적당합니다. 참고로, 저희 회사는 최소 6명의 평가자(/응답자)의 데이터가 있어야 결과를 도출할 수 있다고 말씀드립니다. 반대로, 최대 인원은 15명을 넘지 않으면 좋겠다고 합니다.

이슈2. 주관식 문항을 넣을 것인가? 그 결과는 어떻게 분석/공유할 것인가?

진단 대상자에게 풍부한 내용과 생생한 목소리를 전달하기 위해 주관식 문항을 넣어 달라는 고객사가 있습니다. 이 마음은 저도 충분히 이해하고 장점도 잘 압니다. 다만, 주관식 문항을 넣어서 텍스트로 된 질적(質的) 자료를 수집했을 때 단점에 관해 말씀드려 봅니다. 첫째, 평가자(/응답자)의 익명성이 훼손될 수 있습니다. 누구나 습관적으로 틀리는 맞춤법과 자주 쓰는 표현들이 있습니다. 이것이 아니더라도 주관식 응답 내용을 찬찬히 읽다 보면, 누가 이 내용을 썼는지 추정할 수 있는 사례가 많습니다. 둘째, 객관식 응답의 대체적인 내용과 주관식 응답 내용 사이에 모순이 발생하는 경우 그 해석이 어렵습니다. 실제로 객관식에서는 진단 대상자에 관해 혹평해놓고, 주관식에서는 갑자기 태도를 180도 바꿔서 칭찬 일색으로 적는 경우가 있었습니다. 무엇이 진심인지 알 수 없어 당혹스럽더라고요. 셋째, 진단 대상자가 수천 명에 이를 만큼 다수일 경우 데이터 처리 및 가공이 어렵습니다. 텍스트로 된 정성 데이터를 분석하는 여러 도구가 나와 있지만, 그 정확도가 그리 높지 않은 것 같습니다. 보통 키워드 빈도 분석을 많이 쓰는데, 그 단어가 사용된 문장 속 맥락(Context)이 무시된다는 점에서 위험한 면이 있습니다.


다면진단에 주관식 문항을 넣어 그 결과를 각 개인에게 피드백하고 싶은 마음은 충분히 이해합니다. 그리고 가급적 저희도 그 요구에 대응해드리려고 노력하고 있습니다. 다만, 다면진단에서 단순히 정보량이 많다고 좋은 것은 아니라는 점은 짚고 넘어가고 싶습니다. 주관식 문항이 들어가는 순간 운영과 분석 모두에서 몇 배 더 세심해져야 합니다.

이슈3. 불성실 응답을 어떻게 예방 또는 사후조치할 것인가?

다면진단은 평가자(/응답자)가 소수이기 때문에 한 명 한 명의 응답 데이터가 소중합니다. 그래서 한 명 한 명이 모두 성실하고 솔직하게 응답해주길 바랍니다. 그런데, 세상일이 다 제 마음 같지 않듯이, 불성실한 평가자(/응답자)도 상당히 많습니다. 이런 불성실 응답에는 다양한 유형이 있습니다. 처음부터 끝까지 특정 보기나 점수 하나로 찍거나, 지그재그로 선택하기도 합니다. 아니면, 50여 개의 문항을 단 2~3분 만에 아무렇게나 찍어 버리기도 합니다 (참고로, 저희 회사의 시스템은 평가자(/응답자)가 언제 응답을 시작해서 언제 마쳤는지를 볼 수 있습니다. 저희 표준 문항에 성의 있게 응답하는 분들은 평균 15분 정도가 걸립니다).


이런 불성실 응답을 예방하기 위해 사내 홍보 및 캠페인을 하기도 합니다. 그러나 완벽하게 불성실 응답을 막지는 못합니다. 저희 회사의 시스템은 응답 중에 불성실 응답으로 예상되는 응답 패턴을 보일 경우 경고창을 띄우는 기능도 제공하고 있습니다. 예를 들어, 너무 빠르게 응답을 할 때, “귀하는 너무 빠르게 응답하고 있습니다. 질문을 천천히 읽고 충분히 숙지한 후에 응답해주십시오”라고 말입니다. 그러나 이 역시도 불성실 응답을 완벽하게 차단하지는 못합니다.


결국, 불성실 응답이 전체 응답 중 10% 정도 나오게 되는데, 이를 어떻게 처리할 것인가가 관건입니다. 저희는 원칙적으로 불성실 응답을 모두 삭제합니다. 일부 데이터라도 살려서 분석에 활용하는 방법도 있겠으나, 저희는 해당 데이터 전체를 삭제하는 쪽을 택합니다. 이렇게 하는 편이 결과 타당도를 높이는 데 더 효과적입니다. 다면진단은 평가자(/응답자)가 소수이기 때문에 한 명 한 명의 응답 데이터가 미치는 영향이 큽니다. 따라서, 불성실 응답은 최대한 타이트(?)하게 걸러내는 것이 필요합니다. 물론, 이렇게 걸러낼 때마다 데이터양이 줄어드는 것은 마음이 아픕니다만…

이슈4. 선택지에 ‘잘 모르겠음’ 또는 ‘응답할 수 없음’을 넣을 것인가?

소소하지만 꽤 중요한 의사결정입니다. 객관식의 보기(/선택지)에 ‘잘 모르겠음’을 넣을 것인가, 아니면 모든 문항에 강제로(또는 필수적으로) 응답하게 할 것인가에 관한 것입니다. 데이터를 처리하는 입장에서는 후자가 더 편합니다. 데이터에 빈칸이 없는 것이 더 편리하니까요. 그러나, 이는 너무 행정편의주의인 것 같습니다. 내가 A라는 진단 대상자에 관해서 응답할 때 그에 관해서 잘 모르는 부분도 분명히 있을 수 있으므로, “이 부분은 잘 모르겠다”라고 답할 수 있어야 한다고 믿습니다. 특히, 직속 부서 후배가 아니라 유관 부서원으로서 응답할 때는 더욱더 그렇습니다.


다만, 불성실 응답자 중에 모든 문항에 ‘잘 모르겠음’을 선택하는 경우가 있습니다. 정말 진단 대상자를 잘 몰라서 그렇게 했다면, 본인이 평가자(/응답자)로서 적절하지 않다고 메일을 보내든지 하는 다른 방법을 찾았어야 합니다. 실제로 저희 회사는 본인이 진단 대상자를 잘 모르거나 접점이 적다고 생각하면 회신해달라고 안내합니다. 인사팀과 상의하여 평가자(/응답자)에서 삭제하는 등의 조처를 하겠다고… 그런데, 다면진단에 참여는 하면서 모든 문항에 ‘잘 모르겠음’을 선택하는 경우가 종종 있습니다. 이런 분들 때문에 ‘잘 모르겠음’을 보기에 넣는 것이 두렵습니다. 그럼에도 평가자(/응답자)에게 강제로 모든 문항에 필수적으로 응답하도록 하는 것은 강압적인 것 같아 피하고 있습니다.

이슈5. 진단 대상자에게 자기 평가(Self-evaluation)를 하게 할 것인가?

시중에 존재하는 대부분의 다면진단 도구 및 서비스가 진단 대상자에게 자기 평가를 하게 하고, 주변 사람들이 한 평가와 비교하게 되어 있습니다. 일종의 Gap 분석인데, 저희는 다면진단에 있어 이 Gap 분석에 회의적인 입장입니다. 진단 대상자가 자기 자신을 완벽하게 객관적으로 판단하지 못한다는 전제하에서 다면진단이 시행된다고 믿기 때문입니다. 또한, 진단 대상자가 자신에 관해 대체로 좋은 평가를 하면 “겸손하지 못하다”라고 비난하고, 반대로 대체로 나쁜 평가를 하면 “왜 그렇게 자신감이 없냐?”라고 비난하는 경우를 자주 봤습니다. 이 때문에 영리한 진단 대상자는 적당히 중간 정도의 자기 평가를 합니다. 그래야 뒷말이 없을 것이라는 사실을 알기 때문이죠. 진단 대상자는 자기 자신에 관한 평가조차도 솔직하게 입력하지 못하는 것이 현실입니다.


게다가 저희 경험상 자기 평가 데이터는 크게 쓸 곳이 없습니다. 타인의 인식과 Gap을 확인하는 데 쓰이는 정도입니다. 꼭 공식적으로 응답하여 자기 평가 기록을 남기지 않더라도 그 정보는 개인의 의식 속에 항상 존재할 것입니다. 그래서 저희 회사의 다면진단 서비스에서는 진단 대상자의 자기 평가는 빠져 있습니다. 물론, 고객사의 요구에 따라 자기 평가를 넣어 드리기도 하지만, 할 때마다 “이걸 꼭 해야 했나?”라는 회의를 느낍니다. 오히려 다면진단 결과 피드백 시 사전과제로서 가볍게 자기 평가를 하게 하는 것이 더 효과적이라 생각합니다.

이슈6. 평가자(/응답자)의 평가 경향을 수리적으로 보정할 것인가?

어떤 평가를 한다고 하면 평가자(/응답자)의 평가 경향, 즉 전체적으로 관대하게 평가하느냐 박하게 평가하느냐를 신경 쓰는 분들이 많습니다. 이런 분들은 꼭 평가자(/응답자)의 평가 경향을 수리적으로 보정해야 한다고 주장합니다. 저희는 이 주장에 대해서 일견 동의하지만, 두 가지 이유에서 다면진단에서의 평가 경향 보정을 반대합니다. 첫째, 평가 경향 보정은 오리지널 데이터를 크게 훼손합니다. 즉, 평가자(/응답자)가 응답할 때 보인 의지 또는 생각을 과도하게 희석시켜 버립니다. 예를 들어, 나의 상사가 정말 좋은 리더라고 생각해서 진심을 담아 좋게 응답했는데, 회사는 내가 관대화 경향을 보인다고 판단하여 강제로 점수를 깎아 버린다면 저는 몹시 화가 날 것 같습니다. 요즘 절대평가 트렌드와 같은 맥락에서 평가자(/응답자)의 오리지널 데이터를 최대한 존중해야 한다고 믿습니다. 다면진단의 전제 중 하나가 “우리는 모두 성인(成人)이고 타인에 대해 성숙한 판단을 내릴 수 있다”라고 생각합니다. 둘째, 이것은 매우 현실적인 이야기인데, 평가 경향을 알려면 한 명의 평가자(/응답자)가 다수의 진단 대상자에 관해서 평가한 데이터가 존재해야 합니다. 물론, 다수의 응답을 해야 하는 평가자(/응답자)도 있지만, 대다수는 한두 명에 대해 응답할 뿐입니다. 따라서, ‘평가 경향’이라는 것을 도출할 근거가 부족합니다. A라는 평가자(/응답자)에게 주어진 한 두 명의 진단 대상자가 정말 모두 다 좋은 사람일 수도 있고, 반대로 모두 다 역량이 떨어지는 사람일 수도 있기 때문입니다. ‘성급한 일반화’ 또는 ‘침소봉대(針小棒大)’가 데이터를 다룰 때 가장 경계해야 하는 것입니다.

이슈7. 상사 평가자의 응답 결과에 더 큰 비중을 적용할 것인가?

어떤 고객사는 상사, 동료, 후배 평가자(/응답자) 중에서 상사의 응답 결과에 더 높은 비중을 실어 분석해달라고 요청하는 경우가 있습니다. 저희가 이러한 요청을 받아들여서 가중치를 다르게 설정하여 분석해본 경험이 있는데, 결론적으로 결과 타당도가 떨어졌습니다. 게다가, 잘 생각해보면 이는 다면진단의 근본 취지와 잘 맞지 않는 것 같습니다. 다면진단은 상사가 잘 모르는, 매일 부대끼며 함께 일하는 동료와 후배들이 보고 느끼는 모습을 잘 잡아내는 것에 목적이 있다고 생각합니다. 그래서 공식적인 인사평가와 별도로 다면진단을 하는 것이 아니겠습니까? 하물며 어떤 회사는 상사를 뺀 채 동료와 후배만 평가하도록 하는 270도 평가를 하기도 합니다. 그런데, 상사 평가자의 응답 결과에 더 높은 가중치를 적용한다면 (주로 직상위자의 의견이 강하게 들어가는) 공식적인 인사평가와 결과가 비슷해집니다.


이러한 경험에 의해 저희 회사는 특정 평가자 그룹에 더 높은 가중치를 주지 않습니다. 다시 말해, 10명의 평가자(/응답자)가 있다고 할 때, 각각의 지분(?)은 10%씩입니다. 모두가 평등합니다. 상사라고 해서 더 높은 가중치를 주고, 후배 직원이라고 해서 더 낮은 가중치를 주지 않습니다. 다면진단 시에는 평가자 모두를 성숙하고 평등한 구성원이라고 가정하는 것이 더 효과적인 것 같습니다.

이슈8. 다면진단 결과를 개인에게 공유할 때 평가자 유형(예: 상사, 동료, 후배)에 따른 상세 결과까지 알려줄 것인가?

진단 대상자에게 개인별로 다면진단 결과를 알려줄 때도 고려할 것이 많습니다. 어떤 정보를 어떻게 가공해서 어떤 수준까지 공유할 것인가를 세심히 선택해야 합니다. 그렇지 않으면 예상치 못한 전개가 나타날 수 있습니다. 이 중 하나의 이슈가 바로 ‘평가자 유형별 결과를 따로 알려줄 것인가’입니다. 즉, “너의 상사는 너에 관해서 이렇게 평가했고, 너희 동료들은 이렇게 평가했다”라고 상세히 알려줄 것인지를 정해야 합니다.


결론부터 말하면, 저희는 이렇게 세분화된 결과를 공유하는 것에 반대합니다. 저희 입장에서 이러한 평가자 유형별 결과 분석이 어렵지는 않습니다. 문제는 진단 대상자가 평가자 유형별 결과를 받았을 때 어떤 반응을 보일 것인가입니다. 실제로 저희가 이렇게 구분해서 결과 보고서를 제공한 적이 있는데, 이때 나타난 현상은 진단 대상자들이 ‘상사의 평가’에만 관심을 가지고, 동료 및 후배 직원의 평가에 관해서는 무관심했다는 것입니다. 냉정하게 말하면, 이들은 이런 생각이었던 것 같습니다. “나는 나의 인사권자인 상사(보통은 임원)의 의견에만 관심이 있지, 나에게 직접적인 영향을 주지 못하는 동료나 후배의 의견에는 관심이 없다.” 이는 다면진단의 목적에 정면으로 배치되는 현상입니다.

글을 맺으며...

다면진단 운영을 잘하려 들면, 위에서 언급한 주요 쟁점 외에도 수많은 쟁점이 있습니다. 고객사마다 상황과 목적이 다르기 때문에 요구사항도 천차만별입니다. 그것들을 다 적자니 글이 너무 길어질 것 같아서 이 정도로 썼습니다.


저희 회사는 다면진단에 진심입니다. 저희 스스로가 큰 애정을 가진 서비스입니다. 저희는 다면진단을 단순히 용역이나 아웃소싱이라 생각하지 않고, 저희의 인사 철학이 담긴 서비스라고 생각합니다. 그래서 지키려고 하는 몇 가지 원칙이 있습니다. 이 원칙의 충돌 때문에 고객사와 계약이 성사되지 않는 경우도 종종 있습니다만, 그렇다고 돈만 좇고 싶지 않습니다. 너무 돈만 좇다 보면 저희가 이 서비스를 만든 취지가 훼손될 것 같거든요.


이 뉴스레터를 읽은 여러분이 자체적으로 다면진단을 설계 및 운영할 때도 위의 주요 쟁점들은 한 번쯤 생각해보셔야 할 겁니다. 경영진과 하나하나를 놓고 다퉈야 할 수도 있습니다. 그때 저희의 생각과 경험이 도움이 될 수 있을 것 같아 이 글을 썼습니다. 여러분에게 도움이 됐길 바랍니다.

😊 J& COMPANY w/HRer 는 격주로 발행됩니다. 화요일 오전에 찾아뵐게요.
J& COMPANY
mm@jncompany.net
서울특별시 중구 통일로10 연세세브란스빌딩 17층
<J& COMPANY w/HRer>의 모든 콘텐츠는 저작권법에 의해 보호받는 지적자산이며, J& COMPANY에 저작권이 있습니다. 해당 콘텐츠를 사전 동의 없이 2차 가공 및 영리적으로 이용하는 일체의 행위를 금합니다.
stibee

이 메일은 스티비로 만들었습니다