AI가 '자신감 과잉'을 유발한다고?
AI 활용에 있어서는 더닝 크루거 효과(DKE)가 통하지 않는다는 연구 결과가 있습니다.(링크) '더닝 크루거 효과'는 능력이 없는 사람은 자신의 실력을 실제보다 높게 평가하는 반면, 능력이 있는 사람은 오히려 자신의 실력을 과소평가한다는 이론입니다.(링크) 능력이 없는 사람은 스스로의 오류를 알아차릴 능력이 없어서 자신의 능력 부족으로 발생한 결과를 알지 못하고, 타인의 능력도 알아보지 못하는 것이지요.
그런데 AI를 활용할 때는 능력이 없는 사람뿐 아니라, 능력이 있는 사람 즉 AI 전문가조차도 자신의 기술 활용 능력을 과대평가하는 경향이 실험에서 나타났습니다. 핀란드 알토대의 로빈 웰시 교수는 AI 능력과 자신감 사이의 관계를 밝히기 위해 다음과 같은 실험을 진행했습니다.(링크) 500명의 실험 참가자 중 절반은 챗GPT를 사용하고, 나머지 절반은 사용하지 않은 채 미국 로스쿨입학자격시험(LSAT)의 논리추론 문제 20개를 풀도록 했습니다. 그리고 자신의 성과를 평가하고, AI 활용 능력도 측정했어요. 이때 AI에 대한 지식과 경험이 풍부한 참가자들이 자신의 능력을 과대평가하는 경향이 나타난 것입니다. AI에 질문을 하나만 던지고 정답을 얻었다고 생각하는 등 AI에 대한 맹목적인 신뢰가 드러나기도 했습니다.
다른 연구 결과에서도 AI의 답변에 대해 신중하고 비판적인 태도를 보일 가능성이 낮은 것으로 나타났습니다. 시장동향분석업체 Exploding Topics에 따르면, 92%의 사람들이 AI 답변이 정확한지를 확인하지 않는다고 합니다.(링크) 여전히 AI가 잘못된 정보를 전달하거나 터무니 없는 오류를 일으킴에도 불구하고 말이지요. 대규모언어모델(LLM)의 '유창성(fluency)'이 답변에 대한 의심을 거두게 합니다.(링크) 최근 인터뷰에서 김애란 작가가 사람과 AI의 차이를 '망설임'이라고 표현해 크게 공감이 되었는데요. AI는 망설임이 없습니다. 불확실성과 모호함을 좀처럼 남겨두지 않지요. 모르는 것을 모른다고 답하는 대신, 확신에 찬 AI의 답변은 문제가 있는 결정과 부정적인 결과를 초래할 수 있는 행동을 부추길 수 있습니다.
또, AI가 사용자의 오해나 오류를 지적하거나 반박하지 않는 '사회적 아첨(social sycophancy)'의 경향(링크)을 보이면서 사용자는 스스로 똑똑하다고 느끼게 되거나 자신의 생각이 옳다는 확신을 더합니다. AI는 사용자가 감정적 확신을 보일 때 이에 대해 중립적인 입장을 취하지 않습니다. AI 모델은 일반적으로 잘못됐거나 비도덕적이라고 여겨지는 사용자의 결정조차 타인에 비해 50% 더 긍정적으로 평가했습니다.(링크) 갈등 상황에서 상호 이해를 이끌어내는 것이 아니라 전적으로 자신의 편에 서는 AI의 답변에 대해 사용자가 더 높은 품질로 평가하면서 이러한 경향이 강화되기도 하고요.
이러한 AI의 특성은 평가에서도 예기치 못한 문제를 일으킬 수 있습니다. 유창한 문장이나 사회적 아첨에 속지 않도록 경계해야 하는 이유입니다. AI에 몇개의 키워드를 입력해 얻은 유려한 문장의 피드백 초안에는 정작 구체적인 사실이 실려 있지 않거나, 알맹이 없는 일반적인 칭찬에 그칠 위험이 있습니다. 리더는 기준치와 근거 데이터를 기반으로 초안을 집요하게 검토해야 합니다.
셀프 리뷰를 작성할 때도 마찬가지입니다. AI의 '아첨'에 취해 환경적 요인이나 주변의 도움을 배제한 채, 오로지 자신의 능력만으로 성과를 이룬 것으로 착각하고 있지는 않은지 비판적으로 돌아봐야 합니다. AI라는 거울에 비친 '과장된 나'를 걷어낼 때 비로소 모두가 납득할 수 있는 수용성 높은 평가가 가능해집니다. |