마침 유엔의 이스라엘-하마스 휴전 결의안에 기권 의사를 표명한 한국에서는 지능형 CCTV를 열심히 도입하는 중입니다. 10.29 참사에 대응하여 인파 관리나 범죄 예방 등을 명목으로 합니다. 지능형 CCTV 기술이 정말 인명 사고 예방에 필요한지에 관해서 의문을 제기할 여지가 있지만, 조금 시야를 넓혀 보자면 이런 기술이 위에서 언급한 소수민족 억압에 활용되는 기술과도 밀접하게 연관된다고 생각해요.  

FMTI를 재검토해 봅니다

지난 레터에서 파운데이션 모델 투명성 지수(FMTI) 연구를 다룬 이후, FMTI의 100개에 달하는 지표를 어떻게 측정했는지, 그래서 종합 지수가 무엇을 의미하는지 등 보다 자세한 내용이 궁금하다는 구독자분의 요청이 있었습니다. 그리고 정확히 다음 날, 오픈소스 AI 개발을 추구하는 비영리 연구조직 EleutherAI에서 해당 연구를 비판하는 논평을 게시했습니다.

사실 저는 국가 경쟁력이나 행복도처럼 정량화하기 힘든 개념을 하나의 수치로 압축하는 각종 ‘지수(index)’에 문제가 많다고 생각합니다. 그럼에도 불구하고 FMTI가 AI 투명성 현황을 보기 좋게 정리했다는 이유로 구독자분들께 전하기 좋은 소식이라 판단했습니다. 하지만 연구 논문과 데이터를 자세히 뜯어보며, 또 EleutherAI의 비평을 읽으면서 깨달았습니다. FMTI 소개보다도 구독자분들과 함께 AI 투명성에 대해 고민하는 글이 필요했다는 사실을요. 반성하는 마음으로 FMTI 연구를 다시 살펴봅니다.

우선 EleutherAI의 FMTI 비평을 간략히 요약해 보죠:

1. 투명성은 목적이 아닌 수단이라는 사실을 망각한 접근이다.
2. 함께 비교하기 어려운 대상(AI 모델 및 개발조직)과 지표를 한데 섞었다.
3. 투명성을 기업의 상용 AI 서비스에 요구되는 정보공개 책무라는 좁은 개념으로만 상정한다.

EleutherAI와 같은 연구조직에게 투명성은 재현가능성(reproducibility)을 위해 필요한 수단입니다. 연구자 입장에서 대부분의 기업이 AI 모델의 학습 데이터나 파라미터를 공개하지 않는 것은 굉장히 답답한 일일 겁니다. AI를 깊게 이해하거나 관련 지식을 쌓기가 훨씬 어려워지니까요. 정보가 공개되었다고 하지만, 전체가 아니라 일부일 뿐이니 검증이 불가능합니다.

이러한 입장에서는 FMTI가 학습 데이터 전체가 아닌, 출처와 같은 부가 정보에 대해서만 지표를 설정하고 있어 아쉬움이 남습니다. AI 모델 파라미터 공개 여부 역시 100개 중 하나의 항목일 뿐인데, ‘국가별 이용 현황’이라거나 ‘AI 생성 콘텐츠 탐지 방법’과 같은 문항이 AI 모델 파라미터 공개와 동일한 위상을 차지하는 게 맞는지도 질문을 던져볼 수 있겠죠.

이외에도 EleutherAI는 FMTI가 측정이 용이한 지표 위주로만 구성된 점과 이로 인한 기업들의 투명성-워싱 우려를 제기합니다. 또한 0(없음) 또는 1(있음)로 매겨지는 측정 방식도 명확해 보이지만 측정하는 사람마다 판단 기준이 달라 지표 안정성에 문제가 있을 수 있습니다. 단적인 예로, EleutherAI 연구원들이 개발에 참여한 BLOOMZ를 다시 채점했더니 53%가 아니라 87%었다고 해요. 투명성의 다양한 측면을 무시한 채 점수와 순위만 강조하는 각종 시각 자료 역시 지적되었습니다.

지난주 레터에서 언급했듯 AI 투명성은 분명 우리가 추구해야 할 가치이며 이를 위해 다양한 방식의 노력이 필요합니다. 하지만 여러 다른 윤리 논의와 마찬가지로 관점과 맥락에 따라 달리 정의할 수 있는 개념이기도 합니다. 따라서 AI 투명성을 정해진 질문지에 네/아니요로 기록해 점수로 환산하는 게 적절한지 분명 재고할 필요가 있습니다.

같은 이유로 우리나라 정부에서 AI 윤리라는 주제 아래 추진하는 여러 작업에 대해서도 비판적으로 검토해 볼 수 있을 겁니다. AI 윤리 국가표준이나 검·인증, 체크 리스트 형태의 자율점검표 및 개발 가이드라인 등의 여러 사업이 떠오르네요. 해외 유명 대학에서 만들었다는 이유만으로 섣불리 FMTI를 그대로 도입하는 일은 없었으면 좋겠습니다.

오늘 이야기 어떠셨나요?

여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.

남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다. 

🗂️ 아카이브