잘 알려져 있듯이 AI에 입력되는 데이터의 편향성은 알고리즘 학습 과정에 그대로 반영된다. 특히 텍스트 기반 대규모 언어모델(LLM)에서는 이러한 편향성이 언어 문체, 관점 선택, 추론 방식에서 나타난다.
챗GPT나 제미나이와 같은 LLM 서비스는 파운데이션 모델 단계에서 국가별·문화권별 언어 데이터베이스를 별도로 구축하지 않는 것으로 알려져 있다. 따라서 특정 국가나 문화권의 언어 관점이나 추론 방식을 직접적으로 반영하기는 쉽지 않다.
물론 프롬프트를 조정하면 다양한 관점을 모사할 수 있다고 말한다. 그러나 언어, 문화, 계층 정체성을 기반으로 한 프롬프트 개입은 실제 집단 내부의 관점 분포를 충분히 재현하지 못하는 경우가 많다. 모델의 출력이 현실 세계의 인식 구조와 일치하지 않는 경우가 발생한다.
2022년 겨울 챗GPT가 대중화된 이후 AI 알고리즘의 편향성과 다양성 문제에 대한 연구는 꾸준히 증가하고 있다. 이 글에서 다루는 논문 역시 그러한 연구 흐름 속에 있다. 이 논문은 새로운 실험을 수행한 원천 연구(original research)가 아니라 기존 연구를 정리한 리뷰(review) 논문이다. 따라서 독창적인 실험 결과를 제시하기보다는 연구 흐름을 종합적으로 정리하는 데 목적이 있다. 연구 주제 자체도 이제 완전히 새로운 것은 아니다. 다만 현재 연구 트렌드를 보여주는 나침반 역할을 한다.
그럼에도 이 연구는 중요한 의의를 지닌다. 미국 실리콘밸리 지역의 주요 대학 연구자들이 AI 알고리즘 설계 과정에서 소수자 집단의 목소리가 어떻게 배제되는지를 체계적으로 검토했기 때문이다. 특히 대규모 언어모델이 관점 형성 과정에서 WEIRD 사회(Western, Educated, Industrialized, Rich, Democratic)의 특성을 반영하는 경향이 있다는 점을 다시 한 번 강조한다.
연구진은 프롬프트 기반 방법에 대해서도 비판적인 시각을 제시한다. 이러한 방법은 추론 단계에서 프롬프트를 조정하여 출력의 다양성을 높이려는 시도이다 (temperature, max-token, do_sample 등). 그러나 실제로 LLM 기업들은 이러한 방법을 적극적으로 활용하지 않는다. 편향을 줄이고 다양성을 확대할 수 있음에도 불구하고 실제 서비스에는 제한적으로만 적용된다.
저자들은 이 현상을 사회학자 조지 리처(George Ritzer)의 “맥도날드화(McDonaldization)” 이론으로 설명한다. 효율성, 예측 가능성, 통제 가능성을 우선하는 구조가 알고리즘 설계에도 반영된다는 것이다. 그 결과 맥락적 다양성과 문화적 복잡성이 억제된다.
이 연구는 한국의 소버린 AI 정책에도 중요한 시사점을 제공한다. 소버린 AI는 특정 지역이 아니라 국가 전체를 대표하는 알고리즘으로 설계되어야 한다. 그러나 현실에서는 서울 지역 중산층 이상이 사용하는 언어가 사실상 표준어로 기능한다. 이러한 구조는 서울 중심의 언어 체계를 강화한다. 동시에 지역 언어와 문화의 표현 가능성을 약화시킨다.
서울어 기반의 AI 비서 서비스는 결과적으로 서울 중심의 언어 질서를 더욱 공고하게 만들 수 있다. 이는 지역 균형 발전을 저해하는 요인이 될 수 있다. 그럼에도 현재 정책 당국은 이러한 문제에 충분한 관심을 보이지 않는다. 미국에서 백인 중산층 영어 데이터를 중심으로 학습한 AI가 인종 편향을 강화한다는 연구가 계속 나오고 있음에도, 지역 기반 AI 설계에 대한 논의는 거의 이루어지지 않고 있다.
만약 LLM이 이러한 인지 구조를 그대로 반영한다면 어떤 일이 벌어질까. 서울 중심의 언어와 추론 방식은 강화될 것이다. 반대로 지방에서 형성된 독특한 사고 방식과 표현 방식은 점차 밀려날 수 있다. 서울 내집단(in-group)의 강화와 비서울 외집단(out-group)에 대한 편향이 동시에 나타날 가능성이 있다. 장기적으로는 지역 소멸을 더욱 가속화할 수도 있다.
따라서 정책 당국은 서울 중심의 소버린 AI가 지역 관점을 어떻게 반영하는지 지속적으로 모니터링해야 한다. AI 서비스가 특정 지역에 대한 질문에 충분한 답변을 제공하는지도 점검해야 한다. 또한 정치적으로 중립적이거나 평균적인 응답만을 반복적으로 생성하는 경향이 있는지도 검토할 필요가 있다.
저자들이 소개한 기존 연구의 실험 결과 역시 한국 상황을 해석하는 데 중요한 참고가 된다. 해당 논문의 연구진은 LLM의 응답 다양성을 높이기 위해 temperature 1.0 설정을 사용했다. 그리고 그 결과를 세계가치조사(World Values Survey) 기반의 인간 응답 데이터와 비교했다. 그 결과 LLM의 출력 다양성을 높였음에도 불구하고, 그것은 인간 응답보다 변이가 훨씬 적었다. 또한 WEIRD 사회에서 나타나는 응답 패턴과 더 밀접하게 정렬되는 경향을 보였다.
이 결과는 중요한 함의를 갖는다. 서울 중심의 소버린 AI 역시 단순한 설정 변경만으로는 다양한 지역 관점을 충분히 반영하지 못할 가능성이 크다는 점을 시사한다.
그렇다면 서울 중심의 소버린 AI에 대해 지역은 어떻게 대응해야 할까. 곧 지방선거가 다가온다. 지방 유권자들은 소버린 AI 정책을 중요한 정치 의제로 삼을 필요가 있다. 서로 다른 지역의 언어와 문화를 연결하는 국민주권형 LLM 정책을 제시하는 후보를 선택해야 한다.
소버린 AI는 서울 시민만의 AI가 되어서는 안 된다. 지역 주민의 언어, 문화, 생활 경험과도 상호작용해야 한다. 지금 추진되는 소버린 LLM이 서울 시민의 추론 방식만을 반영한다면 그것은 서울 시민에게도 바람직하지 않다. 장기적으로는 서울 시민의 민주적 인지 능력에도 영향을 미칠 수 있다.
따라서 편향성과 다양성 문제는 한국의 소버린 AI 설계 과정에서도 더욱 적극적으로 고려되어야 한다.
