신경망, 기호주의에 대한 설명과 함께 미래 AI 생태계에 대한 흥미로운 예측을 들려주는 카톨린 욘커 교수 (영상: The Royal Institution 유튜브 채널)

방대한 데이터를 통해 자가 학습하는 딥 러닝 기술은 스케일과 성능의 측면에서는 월등하지만, ‘블랙박스’로 대표되는 설명 불가능성의 취약점을 가지고 있습니다. 이론상으로는 더 많은 데이터를 확보해 결과물의 정확도를 올릴 수 있지만 투입할 수 있는 데이터는 유한하며, 그에 따르는 환경 문제도 계속 지적되고 있죠.

반면 인간이 입력해 둔 지식을 바탕으로 세계를 재현하는 기호주의 계열 AI의 대표적 장점은 명시적인 법칙과 규칙을 알고리즘에 반영하기가 훨씬 용이하다는 것입니다. 가령 우리에게 익숙한 AI 윤리 문제(할루시네이션, 편향, 상식 부족 등)가 발생했을 때 그 원인을 정확히 특정해 낼 수 있습니다. AI에게 인간의 상식과 도덕관 등을 주입하는 연구에서 이 기술이 자주 언급되는 이유죠. (TED 강의로 화제가 된 최예진 교수의 연구가 좋은 예시입니다.) 뉴로 심볼릭은 오랫동안 경쟁해온 두 패러다임의 장점을 취해 성능과 설명 가능성, 두 마리 토끼를 모두 잡기 위한 시도라고 할 수 있습니다. 

 

‘더 나은’ AI?

현재 AI 그 자체처럼 여겨지는 딥러닝 또한 기나긴 AI 흥망성쇠 역사의 일부라는 사실은 향후 5년, 10년 이후의 전망을 더욱 흥미롭게 만듭니다. 그리고 뉴로 심볼릭이라는 가능성은 앞으로 어떤 기술주에 투자해야 할지(?)에 대한 안목뿐만 아니라 AI 윤리의 쟁점들에 대해서도 시사하는 바가 있습니다.

가령 더 투명하고 설명 가능한 AI의 필요성에 대해 저희 레터에서도 여러 차례 다룬 바 있는데요. 스케일의 LLM과 투명한 심볼릭, 혹은 그 혼합체의 다양한 모델들이 서로를 보완, 공존하는 하이브리드 형태의 AI 생태계가 실현된다면 어떨까요? 저희 레터에서 다뤄 온 시급한 이슈들도 AI 기술 자체의 난제라기 보다는 LLM이라는 한 패러다임이 가졌던 한계점으로 기억될 날이 올지도 모릅니다. 그래서 블랙박스의 한계, 혹은 AI가 환경에 끼치는 영향이 기술 발전으로 인한 ‘불가피함’이라 누군가 말할 때, 뉴로 심볼릭은 (아직 대중화까지는 거리가 있음에도 불구) ‘더 나은 AI’에 대한 우리의 상상력을 확장해 준다는 점에서 의미를 가질 수 있지 않을까요? 

  

지난주, 무언가를 자세히 살펴 본다는 뜻의 영어 단어 ‘delve’가 화제가 되었습니다. 이 단어는 챗GPT를 자주 사용하는 사람들 사이에서 챗GPT에 자주 등장한다고 이미 널리 알려진 단어 중 하나였습니다. Y Combinator의 공동 창립자인 폴 그레이엄은 이를 X (구 트위터) 에 ‘누군가가 나에게 새로운 프로젝트를 제안하는 콜드메일을 보냈다. 그런데 거기에 단어 ‘delve’가 쓰였다는 사실을 알아챘다’며, 해당 단어가 챗GPT 등장 이후 사용 빈도가 크게 증가했다는 그래프를 첨부하였습니다.

해당 사건을 다룬 가디언지 기사에서는 ‘delve’라는 단어가 아프리카의 웹, 특히 나이지리아에서 자주 사용되는 단어라는 점을 지적합니다. 아프리카는 챗GPT를 비롯한 많은 언어 모델의 학습 데이터를 외주로 생산하고 있는 곳이기도 합니다. 지난 레터에서 케냐의 노동자들이 한시간에 2불이 채 되지 않는 임금을 받으며 챗GPT를 학습시킨 케냐 노동자들에 대한 TIME지의 심층 취재를 공유드리기도 했습니다. 그리고 챗GPT의 답변에 챗GPT의 학습 데이터를 생성하는 아프리카 화자들의 언어습관을 반영되었다는 것은, 기존의 언어모델의 문제로 제기되는 편향의 문제를 넘어선 사회경제적, 역사적 문제점을 시사합니다.

RLHF

인간 피드백을 통한 강화학습(Reinforcement Learning with Human Feedback, RLHF)은 거대언어모델 (LLM)의 한계를 극복하기 위한 방법론 중 하나로 각광받고 있습니다. 챗GPT를 비롯한 LLM을 학습 시키는 방법론 중 하나인 RLHF는 인간의 피드백을 명시적으로 학습에 포함시킴으로서, 학습 데이터만을 기반으로 가장 확률이 높은 출력을 생성하는 것과 더불어 인간이 보기에 더 나은 출력을 생성하도록 돕습니다. 

인간의 명시적인 선호도는 일명 선호데이터를 생성하여 학습에 추가하는 식으로 반영됩니다. 선호 데이터는 대개 서로 다른 LLM이 생성한 답변들과, 이들 중 채점자 (annotator)가 더 나은 답변으로 판단한 선호도로 구성되어 있습니다. 더 나은 답변이라는 것은 방식에 따라 정확도나 자연스러움 등 다양한 기준으로 정의됩니다. 수만건의 답변을 비교하여 판단하는 데에는 많은 사람이 필요하기 때문에 이 과정은 대개 크라우드소싱이나 외주를 통해 이루어집니다.

예를 들어 오픈AI의 WebGPT모델에 사용된 선호 데이터셋은 19,578개의 비교 데이터로 구성되어있습니다. 논문에 따르면 해당 데이터는 프리랜서로 고용된 56명이 생성했는데, 특히 이 중 다섯명이 데이터셋의 절반을 제공했다고 합니다. 즉, 이들 다섯명이 대략 데이터셋 전체의 10%씩을 각각 생성했다는 것입니다. 그렇다면 이 다섯명의 판단이 해당 데이터셋의 추이를 결정하는 데에 결정적인 역할을 했을 것으로 짐작할 수 있습니다. 논문은 이들의 인구구성학적인 정보를 밝히지 않고 있지만, 이 다섯명의 채점자 편향 (annotator bias)이 데이터셋에 반영될 소지가 있을 것입니다.

편향의 문제를 넘어서

폴 그래햄의 트윗으로 다시 돌아가서 살펴보면, 챗GPT로 생성한 메일은 인간이 작성한 메일보다 가치가 없다는 뉘앙스가 느껴집니다. 그리고 작성자를 판단하는 근거는 해당 메일에 포함된 ‘delve’라는 단어입니다. 하지만 만약 해당 메일이 챗GPT가 아닌 아프리카의 영어 화자에 의해 쓰인 메일이라면 어떨까요? 해당 화자는 영어를 외국어로 사용하는 본인의 언어 습관이 AI를 학습하는 데에 반영되었다는 이유로 부당한 차별을 받게 됩니다. 이와 관련하여 비영어권 화자의 영작문이 생성 AI 툴에 의해 표절로 판별될 가능성이 더 높다는 글을 전해드린 적이 있습니다.

함께 AI 윤리 레터를 발간하는 🤖아침이 비판한 것처럼, 이러한 데이터 편향은 AI 개발 비용을 줄이기 위해 남반구의 저임금 노동자를 착취하는 문제와 더불어, 이를 근거로 남반구의 영어 화자들의 언어를 'AI 텍스트'로 저평가하는 이중착취의 문제입니다. 나아가 나이지리아를 비롯한 다양한 남반구의 국가들에 영어 화자가 많은 것이 제국주의 국가들에게 식민지화되었던 역사 때문이라는 사실도 간과해서는 안 될 것입니다. 이미 다양한 형태로 착취되고 있는 사람들이 또다시 AI를 개발하는 데 저임금 노동으로 동원되고, AI가 가져올 혜택에서는 소외되면서, 이를 근거로 이루어질 수 있는 언어문화적 차별에도 노출되어 있습니다. 이는 제국주의와 신자유주의로 이어지는 차별의 역사가 AI라는 새로운 매개를 통해 구태의연하게 반복되고 또 강화될 수도 있다는 것을 보여줍니다.

오늘 이야기 어떠셨나요?

여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.

남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다. 

🗂️ 아카이브