이번 글을 마지막으로 2021년에 준비한 16회차에 걸친 뉴스레터 발송이 끝났습니다.

[J& COMPANY w/HR]은 시즌제로 기획되어 매년 4월부터 11월까지 운영합니다. 많은 HRer가 현업으로 바쁜 12월부터 내년 3월까지는 잠시 쉬어가려 합니다. 이 기간 동안 저희도 더 좋은 콘텐츠를 준비하고 재충전하는 시간을 가진 후 내년에 다시 돌아오겠습니다.

올 한 해 [J& COMPANY w/HRer]를 잘 읽어주신 여러분에게 감사드립니다. 
저희가 정성껏 준비한 뉴스레터가 귀하와 귀사에 조금이나마 도움이 되었길 바랍니다.
연말연시 잘 보내시고 내년에 건강한 모습으로 다시 뵙기를 희망합니다.

감사합니다.


J& COMPANY 임직원 일동.
2021년 동안 발송된 16개의 뉴스레터를 모아 소책자 형태의 종이책을 발간할 계획을 갖고 있습니다. 교정/교열 및 디자인 작업 후 2022년 2월경에 완성하여 발송할 예정입니다. 
본격적인 제작 전에 수요 조사를 하고 있습니다. HR 업무 중에 언제든지 참고할 수 있는 종이책을 받고 싶은 분은 위의 [뉴스레터 소책자 신청] 버튼을 눌러, 성함과 주소를 입력해주시기 바랍니다.

제작 여부는 수요 조사 결과를 보고 결정하겠습니다. 현재로서는 신청 부수가 100부를 넘어야 제작에 들어갈 것 같습니다. 여러분의 많은 관심 부탁드립니다.
J& COMPANY w/HRer 

Issue 16 (시즌1 종료). 설문지 잘 만드는 Tip
by jason, KIM

저희가 2021년 5월에 보내드린 <진단도구의 개발 및 적용에 관하여>(https://stib.ee/jjC3)에 대한 구독자분들의 반응이 좋았습니다. 해당 뉴스레터의 오픈율과 리뷰 횟수도 높았고, 이메일로 질문을 주신 분도 많았습니다. 저희 회사와 현재 협업 중인 고객사에서 이 글의 후속 콘텐츠를 써달라는 요청이 있어서 이 글을 준비했습니다. 이 글은 제목 그대로 설문지를 잘 만드는 Tip에 관한 것입니다. HRer는 설문지를 만들 일이 꽤 자주 있는데, 그때 고려해야 하는 구체적인 요소를 담았습니다. 연말연시에 설문지를 만들어 구성원들의 의견을 수집할 일이 많은데, 그때 좋은 참고가 되길 바랍니다.
1. 설문 형태와 척도를 어떻게 정할 것인가?

가장 일반적인 설문의 형태 및 척도는 Likert 5점 척도입니다. 큰 고민이 필요 없는 간단한 설문조사라면 가볍게 이 5점 척도를 사용하십시오. 응답자도 이 5점 척도를 편하게 느낍니다. 그러나, 5점 척도로는 뭔가 부족하다고 느낄 때는 크게 두 갈래 길 중에서 선택해야 합니다.

첫째는, Likert 척도가 아닌 아예 다른 설문 형태를 택하는 것입니다. Likert 척도 같은 scaled question이 아닌 다양한 형태의 설문 유형이 존재합니다. ‘양자택일형(two-way)’, ‘체크리스트형(checklist)’, ‘다중선택형(multiple choice)’, ‘우선순위형(rank order)’ 등이 있습니다. 물론, Likert 척도가 아닌 다른 유형을 택하면, 독특하고 창의적이어서 좋긴 하지만 문항 개발 자체는 더 어려울 수도 있습니다. 문항 설계에 관한 전문성이 있어야 하는 동시에, 묻고자 하는 주제 영역에 관한 인사이트가 없으면 문항 개발 자체가 불가능할 수도 있습니다.

둘째는, Likert 척도를 선택하되, 5점 척도가 아닌 다른 scale을 쓰는 것입니다. 즉, 안전하고 무난하게 Likert 척도를 택했다고 해도 5점 척도를 쓸 것인지, 아니면 다른 scale을 쓸 것인지를 결정할 수 있습니다. 5점 척도가 가장 무난하긴 하지만 결정적인 단점이 있습니다. 그것은 바로 중앙화 경향이 강해진다는 것입니다. 응답자들이 별생각 없이 웬만하면 3점(‘보통’)을 찍는다는 것이죠. 그래서, 6점 척도, 7점 척도, 더 나아가 외국에서는 10점 척도도 많이 쓰는 것 같습니다. 저 개인적으로는 10점 척도는 응답자 입장에서 너무 복잡하게 보이는 것 같고, 7점 척도는 5점 척도와 유사하게 4점으로 수렴하는 경향이 나올 수 있어서, 6점 척도를 선호합니다. 6점 척도를 쓰면, 1~3점은 부정, 4~6점은 긍정 응답이라고 명확하게 반분(半分)할 수 있는 장점도 있습니다.
2. 문항의 개수는 몇 개가 적절한가?
문항을 몇 개로 설계해야 적절한지는 설문의 주제와 내용에 따라 다를 겁니다. 물어야 하는 내용이 넓고 복잡할수록 당연히 문항도 늘어나겠죠. 그리고 문항의 형태, 즉 응답 방식에 따라 적정한 개수가 또 달라집니다. Likert 척도는 하나의 문항에 응답하는 시간이 짧기 때문에 전체 문항 개수가 좀 많아도 됩니다. 반면, 다중선택형의 경우 한 문항당 응답 소요 시간이 길기 때문에 문항 개수를 줄여야 합니다. 이렇듯, 설문의 주제, 내용, 문항 형태 등에 따라 적절한 개수를 콕 짚어 말할 수는 없지만, 일반화하면 이 정도로 말할 수 있겠습니다. 1년에 한 번 대대적으로 하는 조사는 Likert 척도 기준으로 80개 미만, 특정 목적을 갖고 단발성으로 하는 조사는 30개 미만이 적당합니다.

단발성 조사의 경우, 이렇게 바꿔 말하면 더 이해가 쉬울 수 있을 것 같습니다. 요즘 설문조사는 웬만하면 Web으로 하는데, 응답 페이지를 나누지 않고 한 페이지에 담았을 때, 스크롤이 너무 많이 생기지 않아야 합니다. 네이버 같은 포털 사이트의 첫 화면을 보면 (각자 모니터의 해상도에 따라 다르지만) 마우스의 스크롤 휠로 3~4번 정도 드래그하면 끝까지 볼 수 있습니다. 단발성 조사 시 문항 개수도 이 정도가 최대치입니다.
3. 문항의 배치는 어떻게 해야 하는가?

문항이 많을 경우 구성이나 흐름에 스토리라인이 있어야 한다고 믿습니다. 이 역시 글쓰기와 비슷해서 항상 두괄식, 미괄식, 기승전결 구조 사이에서 고민합니다만, 저는 대체로 기승전결 구조를 선호합니다. 초반에는 가벼운 에피타이저 또는 마중물 같은 문항을 던집니다. 그렇게 관심을 유도합니다. ‘어? 이 설문 좀 재밌겠네?’, ‘이 설문의 주제는 이런 것이구나!’, ‘아! 이번 조사는 나에게 꽤 중요한 것이구나!” 정도의 느낌만 전달해도 성공이라고 생각합니다. 가급적 앞부분에 창의적이고 독특한 문항을 많이 배치하려고 합니다.

그 후에는 전체 설문 주제에 대한 응답자의 입장(stance)을 묻는 포괄적인 질문을 합니다. 직원의견조사(EOS)이면, 회사에 대한 나의 만족도가 높은지 낮은지 정도의 입장은 대강 정할 수 있는 질문을 합니다. 이게 아마 기승전결 중 ‘승(承)’에 해당할 것입니다. 그다음에는 디테일로 들어갑니다. 회사 만족도가 낮다면 왜 낮은지, 어떤 영역에서 유독 불만이 높은지, 회사가 무엇을 개선해야 한다고 생각하는지를 꼬치꼬치 캐묻습니다. 여기가 본론이고, 메인 스테이지이며, ‘전(轉)’일 겁니다. 실제로 어떤 조사방법론 서적에서도 핵심이 되는 문항은 중후반부에 배치하는 것이 좋다는 내용이 있더라고요.

마지막인 ‘결(結)’도 중요합니다. 세상만사가 중요하듯, 마무리가 중요하기 때문입니다. 이 마무리가 전체 설문의 인상을 좌우하기도 합니다. 보통 여기에는 인구통계정보를 묻거나, 주관식 문항을 배치하는데, 이것이 가장 무난하긴 하지만 또 제일 성의 없는 마무리이기도 합니다. 약간의 재미와 위트 있는 문항 한두 개를 여기에 배치할 것을 추천해 드립니다. 아니면, <형사 콜롬보>처럼 마지막에 허를 찔러서 본심을 묻는 질문을 해보는 것도 좋습니다. 참고로, 콜롬보 형사는 피의자를 조사할 때, 마지막 인사를 하고 나가다가 꼭 “아! 그런데 한 가지만 더 묻겠습니다”(영어로는 “just one more…”)라고 질문해서 결정적인 진술을 얻었습니다. (이 뉴스레터를 읽는 분 중에 콜롬보 형사를 기억하는 분이 있다면, 최소 40대 중반은 넘겼다는 뜻입니다.😁)
4. 한 문장의 길이는 어느 정도가 적절한가?
이 이야기는 앞서 다른 뉴스레터에서도 여러 번 말씀드린 것 같습니다. 문항/문장의 의미가 잘 전달된다는 전제하에서 짧으면 짧을수록 좋습니다. 사람이 한눈에 읽고 이해하기 편한 문장의 길이는 40자 이내라고 합니다. Likert 척도의 경우 A4에 12pt로 쓴다고 할 때, 웬만하면 한 줄 안에서 해결해야 합니다. 이때, 문장은 당연히 단문(短文)이어야 합니다. 중문(重文), 복문(複文)은 안 됩니다. 앞 문장에는 동의하는데, 뒤 문장에는 동의하지 못할 경우 응답자는 몇 점을 선택해야 할지 혼란스러워집니다.

문장에 들어가는 단어/용어는 쉽고 명확할수록 좋습니다. 신입사원도 읽고 이해할 수 있어야 합니다. 신입사원이 회사를 다닌 기간이 짧아서 문항에서 묻는 내용을 알지 못해 응답하지 못할 수는 있어도, 문장 자체를 독해(讀解)하지 못해서는 안 됩니다. 그래서, 저희 회사는 새로운 진단도구의 문항을 만들면, 꼭 갓 대학을 졸업한 신입사원 또는 대학에 재학 중인 RA(Research Analyst)에게 리뷰를 부탁합니다. 읽고 이해되지 않는 단어/용어는 없는지, 문장은 한눈에 들어오는지를 확인해달라고 합니다. 문항 개발의 마지막 단계에서는 맑고 순수한 눈이 필요합니다.
5. 문장의 주어(主語)를 어떻게 설정할 것인가?

생각보다 문장의 주어가 중요합니다. 이것은 설문 결과에도 꽤 큰 영향을 미칩니다. 조직진단을 기준으로 볼 때, 동일한 문장의 주어를 ‘나’, ‘우리 팀’, ‘전체 임직원’, ‘우리 회사의 리더’, ‘나의 상사’, ‘우리 회사’ 중에서 무엇으로 정하느냐에 따라 결과값이 확확 달라집니다. 사람들은 '나'와 '동료'에게는 관대하고, '회사'/'조직'/'리더'에 대해서는 부정적인 경향이 있습니다. 예를 들어, “OO은 핵심가치를 잘 실천하고 있는가?”라는 문항이 있다고 가정해볼게요. 이 문장의 주어가 ‘나’일 때와 ‘나의 상사’일 때는 결과값이 달라지는 것은 당연합니다. 이 문항의 내용 자체가 추상적이기 때문에 더 그러할 것입니다.

이렇게 주어에 따라 결과값이 달라지기 때문에 주어를 신중하게 정해야 하는 것도 있지만, 더 중요한 포인트는 주어와 서술어가 논리적으로 연결되는가를 살펴야 하기 때문입니다. 위 예시에서 주어를 ‘회사’로 바꿔보겠습니다. ‘우리 회사는 핵심가치를 잘 실천하고 있는가?”가 됩니다. 여러분은 이 문항에 응답하실 수 있겠습니까? 아마 ‘우리 회사’가 무엇을 의미하는지 각자 해석이 다를 겁니다. 어떤 사람은 회사의 제도나 의사결정 같은 측면을 떠올리며 응답할 것이고, 어떤 사람은 CEO나 경영진을 떠올릴 겁니다. 따라서 이 문항은 이렇게 바뀌어야 합니다. “우리 회사는 구성원들이 핵심가치를 잘 실천하도록 적절히 지원하는가?” 또는 “우리 회사의 여러 제도는 핵심가치와 잘 닿아 있어 일관성이 있는가?”
6. 문항이 지나치게 추상적이거나 규범적이지 않은가?
문장이 개념적/추상적일수록 응답자도 자기만의 해석으로 두루뭉술하게 답할 수밖에 없습니다. 경험적으로 보면, 이런 문항의 평균 점수는 예상 외로 높게 나오더라고요. 응답자 입장에서는 '무엇을 묻는지 잘 모르겠으니까 대충 높게 주자. 굳이 나쁘게 응답할 필요 없잖아'라고 생각하는 것 같습니다. 그러니 가급적이면 구체적으로 물어야 합니다. 오랜 고민이나 여러 해석 없이 직관적으로 응답할 수 있어야 합니다. 예를 들어, “귀하는 우리 회사의 비전 체계를 잘 이해하고 있습니까?”라고 묻는 것과 “귀하는 우리 회사의 비전 문구(vision statement)를 암기하고 있습니까?”라고 묻는 것은 매우 다릅니다. (사실, 후자(後者)는 너무 단순하고 직설적이며 Yes or No로 물을 수밖에 없기 때문에 회사에서 하는 설문에는 적합하지 않지만, 이렇게 관찰 가능한 구체적인 행동으로 묻는 것이 확실하다고 주장하고 싶어서 극단적인 예를 들어봤습니다.)

위와 같은 맥락에서, 문항의 내용이 사회적으로 또는 해당 회사/기관에서 바람직하다고 여겨지는 쪽을 선택하도록 유도해서는 안 됩니다. 문장이나 표현이 추상적일수록 이런 규범적인 응답을 유도하는 효과가 있더라고요. 예를 들어, “귀하는 평소 윤리적입니까?”라고 질문하면 웬만한 사람들은 ‘매우 그렇다’를 선택할 것입니다. 그러나, “귀하는 아무도 보지 않을 때 교통신호를 어기는 일이 종종 있습니까?”라고 물으면 완전히 다른 결과를 얻을 것입니다.

사실, 문항을 개발할 때 이 부분이 가장 어렵습니다. 우리가 묻거나 확인하고 싶은 것이 있는데, 그것을 가장 잘 나타내는 상징적인 행동이 무엇일까를 찾는 작업이 제일 힘듭니다. 그만큼 내용에 관한 전문성과 경험이 있어야 할 수 있는 작업이기도 합니다. 대충 만들어서 슬쩍 물어본 후 끝내고 싶은 마음과 항상 내적 갈등을 일으키기도 하죠. 반대로, 이 작업이 조사 설계자의 전문성을 한껏 드러내는 부분이기도 합니다.
7. 역문항(역채점 문항, 역코딩 문항)을 사용해도 되는가?
역문항은 다른 문항들과 질문의 방향이 반대인 문항을 말합니다. 예를 들어, 전체 문항이 긍정문(positive)으로 되어 있는데, 몇몇 문항만 부정문(negative)인 경우를 역문항이라고 합니다. 이 역문항을 쓰는 경우는 크게 두 가지로 나뉩니다. 첫째는 불성실 응답(예: 관대화)을 걸러내기 위한 의도적인 장치로 씁니다. 둘째, 어떤 문장은 부정문으로 써야 그 맛이 제대로 살기 때문에 어쩔 수 없이 쓰기도 합니다.

이 두 가지 모두 충분히 가치가 있는 이유이지만, 저는 역문항을 그리 좋아하지 않습니다. 분석할 때 역코딩해야 하는 번거로움도 있지만, 그보다는 응답자 입장에서 혼란을 줄 수 있기 때문입니다. 어떤 문장은 그 뉘앙스가 아주 애매해서 이것이 긍정문인지 부정문인지가 명확하지 않은 경우가 있습니다. 예를 들어, “귀하는 우리 회사에 1년간 재직한 결과, 이직을 위해 들인 노력에 대해 후회하지 않습니까?”라는 문항이 있다고 가정할게요. 여기에 5점 만점에 5점을 주면 “후회하지 않는다”이기 때문에 긍정적 의미이겠죠. 그것이 설계자의 의도일 겁니다. 그런데, 가끔 어떤 응답자는 반대의 해석을 합니다. “후회한다”는 의미로 5점을 주기도 합니다. 이렇기 때문에 역문항을 설계할 때는 신중해야 합니다. 응답자가 긍정과 부정 사이에서 잠시라도 고민하게 해서는 안 됩니다. 만약 어떤 이유로든 역문항을 쓸 수밖에 없다면, 응답자가 이 문항은 역문항이라는 것을 인지할 수 있도록 별표(*)로라도 표기해주는 것이 좋다고 생각합니다.
글을 맺으며…
대학/대학원에서 통계학 또는 측정평가를 전공했거나 평소 조사방법론에 관심이 많은 분은 이 내용을 잘 아실 겁니다. 또, 사회조사분석사라는 자격증도 있으니, 이런 분들이 보기에 위의 내용은 좀 초보적일 수 있습니다. 저는 통계를 전공한 것은 아니지만, HR 영역에서 관련 프로젝트를 많이 하다 보니 몇 가지 노하우가 쌓였습니다. 위 내용은 그 노하우를 정리한 것이니, 더 깊이 있는 공부를 하고 싶은 분들은 관련 서적을 읽거나 강의를 듣기를 추천해 드립니다.

우리는 HRer로서 크고 작은 설문조사를 많이 합니다. 학문적으로 근거가 있는 문항을 그대로 차용해서 쓸 때도 있지만, 우리 회사와 목적에 맞게 새롭게 개발해서 써야 할 때도 많습니다. 그럴 때 위의 내용을 한번 떠올리면서 만들어 보길 바랍니다. 고려하는 요소가 늘어날수록 한 문항 만들기도 힘들어지지만, 또 그만큼 퀄리티는 확확 올라갈 것입니다. 또, 경영진이 “왜 문항을 이렇게 만들었냐?”라고 물었을 때 똑 부러지게 답할 수 있기도 하고요.
J& COMPANY
mm@jncompany.net
서울특별시 중구 통일로10 연세세브란스빌딩 17층 02-6933-7797
수신거부 Unsubscribe