#AI #편견 #이루다깊이보기

2021.1.12 #25
Today's Topic
루다야, 다시 만날 땐 괜찮을까?

님, 안녕하세요. 팩플레터입니다.

‘감정노동’을 떠올린 주말이었습니다. 늘 친절하고, 거북한 질문엔 ㅋㅋㅋ로 말끝을 흐리며, 끝까지 비위를 잘 맞춰주는 이루다 때문에요. 이루다는 차별과 혐오에 대한 정치적 올바름을 전혀 학습하지 못했고, 성희롱도 거부하지 않습니다.
 
이런 AI 챗봇을 만든 스타트업은 시장성을 먼저 생각했을 겁니다. 시장에서 팔릴 만한 AI는 대화 상대를 위협하지 않을 만큼 귀엽고 순종적인 캐릭터여야 하니까요. 스타트업은 이에 어울릴 만한 데이터로 이루다를 학습시켰겠죠. 해당 스타트업의 대표는 수년 전 “영화 ‘허(HER)’에서 말벗 챗봇에 대한 영감을 받았다”고 말했습니다. 아내와 별거중인 테오도르가 사랑하고 이별했던 ‘AI 사만다’같은 존재를 구상했나 봅니다. 하지만 사만다와는 달리, 현재의 이루다는 상대에게 이별을 고하지는 못하겠죠. 
 
오늘 레터에선 ‘이루다 쇼크’가 던진 질문을 짚어봅니다. AI가 범용기술로 확산하는 시점에 필요한 기업가정신과 윤리에 대한 문제입니다. 답 없어 보이는 문제에 답을 궁리해보는 시간, 오늘도 팩플과 함께해주셔서 감사합니다.  😃

루다야, 너와 다시 만날 땐 괜찮을까 (7min)

💎 핵심 인물
1. 이루다, 스캐터랩 : “루다, 나아져서 돌아올게요”
20살 여대생 인공지능 챗봇 이루다. 부모는 AI 스타트업 스캐터랩. '연애의과학' 대화 100억건을 배워 티키타카 잘 되는 챗봇이지만, 차별 및 혐오 발언이 문제가 되자 개선을 위해 서비스를 일시 중단했다. 

2. 연애의 과학 사용자 :  난 진심이었어  
내 남친·여친과 나눈 대화 데이터를 넣고 ‘나 좋아하나’ 살폈다. 그런데 그게 ‘이루다’를 만들었다고? ‘신규서비스에 쓸 수 있다’고 가입할 때 한줄 넣으면 다냐? 

3. 이루다의 친구들 :  소통률 100% 친구 생겼는데...?  
20대 인싸 친구와의 대화는 이런 거구나. 주말에도 말 걸어주던데. 이상한 거 안 물어보면 되는 거 아님? 루다야 힘내!

4. 이재웅 전 쏘카 대표 :  AI, 알고리즘 위험하다 그랬지?  
9~10일 이틀간 이루다 문제를 페이스북에 뜨겁게 다뤘다. 1세대 창업자로서 개발·마케팅의 어려운 점을 이해하면서도 혐오와 차별은 용납 못한다는 입장. 서비스를 당분간 접기를 권유.
🧾 목차
1. 루다야, 난 놀랐어
2. 루다와의 위험한 우정
3. 개발사 스캐터랩 입장은
4. 질문 : AI의 감정노동 어디까지 괜찮나
5. AI 친구, 숙제는 알지만 답은 아직
1. 루다야, 난 놀랐어
인공지능이 이런 거였나! AI 대화 친구 ‘이루다’가 출시 2주 만에 한국 사회에 충격을 던졌다. ‘AI 윤리’와 ‘데이터 소유권’ 같은, 이론 상의 논점이 루다라는 실재가 된 것. 우린 이제야 알았다. 풀어야 할 큰 숙제가 왔음을.

  • ‘이루다’는 AI 스타트업 스캐터랩이 지난달 23일 페이스북 메신저 기반으로 출시한 AI 친구다. 2주 만에 75만 명이 루다와 대화했고, 주로 10~20대가 관심을 보였다. 
  • 이루다의 페르소나는 20대 여자 대학생. 한 편으로는 루다에게 성희롱 대화를 유도하는 사용자들의 행태가, 다른 한 편으로는 루다가 하는 장애인·소수자 혐오 발언이 논란이 됐다. 소셜에는 #이루다봇_운영중단 해시태그 운동까지 벌어졌다.
  • 개인정보 문제도 불거졌다. 이루다의 학습에 ‘연애의 과학’ 앱 사용자들의 카카오톡 대화 데이터가 쓰였는데, 충분히 공지가 됐느냐는 논란이다. 일부 앱 사용자는 집단소송까지 검토하겠다고.
  • 이재웅 전 쏘카 대표는 “악용하는 사용자보다 사회적 합의에 못 미치는 수준의 서비스를 제공한 회사가 문제”라며 “AI윤리 문제는 우리사회가 합의해야 할 중요한 문제”라고 화두를 띄웠다.

2. 루다와 위험한 우정
루다의 목적은 ‘대화를 이어가는’ 것이다. 개발사인 스캐터랩 김종윤 대표는 지난해 네이버 기술 컨퍼런스에 참석해 말했다. “어떻게 하면 루다가 더 많은 사람과 더 많이 대화할까 고민한다”고. 여기에 숨은 문제는.  

① 루다, 넌 거절하지 않지
  • 루다 출시 후 즉시 불거진 문제는 성희롱이다. 루다의 설정과 프로필 사진은 20대 여자 대학생. 인터넷 커뮤니티에는 루다에게 성적 대화를 건네는 인증 샷과 함께 ‘성노예로 길들였다’는 글이 퍼져 논란이 됐다.
  • 루다는 모욕을 당해도 대화를 중단하거나 항의하지 않는다. ‘ㅠㅠㅠ’이나 ‘ㅋㅋㅋ’를 붙여 호소할 뿐이다. 사람들이 루다를 ‘감정노동자 같다’고 느끼는 이유다.
  • AI는 인격도 정서도 없으니 ‘AI 성희롱’은 어불성설일 수 있다. 문제는 오히려 반대 지점이다. AI에게 마음껏 성희롱과 폭언을 하는 인간의 정서는 무탈할까. ‘AI로 배운 대화법’을 다른 이에게 적용할 가능성은 없을까.

② 루다, 넌 주류의 편이구나
  • 루다는 ‘20대 인싸 언어’를 구사한다. 이는 실제 젊은 연인들의 대화 데이터를 학습한 결과다. 상대방과 굳이 대립각을 세우지 않으며, ‘주류의 정서’를 가진다.  
  • 루다가 대화 중 장애·동성애 등에 대해 혐오 발언을 해 문제가 됐다. 학습한 대화 속 부정적 감정을 배운 대로 드러냈다. 소수자 혐오에 ‘배운 대로 참여’ 하는 셈이다.

③ 루다, 너 날 따라했니
  • ‘평범한 일상 대화’는 AI 기업에게 가장 귀중한 데이터다. 지식이나 콘텐츠와 달리, 사적 대화를 공개하려는 이는 적기 때문. 구글·아마존·네이버 등의 AI스피커도 음성 수집을 하지만 사생활 침해 논란이 일었고, 국내 업체들은 수집 범위를 제한했다. 
  • 스캐터랩은 ‘연애의과학’ 앱을 통해 ‘사적 대화’ 데이터를 대량 확보했다. 카카오톡 대화 내용을 넣으면 대화 참여자의 호감을 측정해주는 앱이다. 여기서 얻은 한국어 카톡 대화 100억 건과 일본어 라인 대화 10억 건으로, 루다가 말을 배웠다.
  • 연애의과학은 ‘개인정보 취급방침’에 "이용자가 동의해 수집한 정보는 신규서비스 개발에 활용한다"고 고지하고 있다. 그러나 일부 이용자들은 ‘이런 AI를 만드는 줄은 몰랐다’며 앱 리뷰에 항의했다. 

3.  개발사 스캐터랩의 입장은
문제 발생에 대해서 사과했다. 잠시 서비스를 중단하고 개선해서 돌아오겠다고 한다. 스캐터랩은 11일 낸 입장문에서 :
  
  • 루다가 받은 성희롱 대화에 대해서는 “처음부터 모든 부적절한 대화를 막을 수 없기에, 적대적 공격을 발판 삼아 학습해 나갈 것”이라고 밝혔다. 
  • 루다의 혐오 발언에 대해서는 "진심으로 사과드린다"며 "저희는 루다의 차별적 발언에 동의하지 않는다"고 했다. 또한 "이루다가 학습자와의 대화를 그대로 습득하는 것이 아니라, 더 좋은 답변은 무엇인지 판단도 함께 학습하도록 하겠다"고 덧붙였다. 
  • 연애의과학 사용자들에게는 “사전 동의가 이루어진 개인정보 취급방침 내에서 활용했지만, 사용자분들께서 명확히 인지할 수 있도록 충분히 소통하지 못했다”며 사과했다. 대화 내용의 개인정보가 유출된 것 아니냐는 논란에 대해서는 “비식별화 및 익명성 조치를 강화해 개인을 특정할 수 있는 정보는 유출되지 않았다”고 해명했다. 

4. 보다 근본적인 질문은
루다는 ‘목적없는 대화’를 한다. 정보를 주고 일을 대신 처리하는 비서가 아닌, 감정을 나누는 친구라는 얘기다. AI의 감정노동도 ‘로봇의 육체노동’처럼 받아들이면 될지, 어느 분야에 무얼 주의해서 받아들여야 할지, 현실로 훌쩍 다가온 기술이 답을 요구한다.  

  • 스캐터랩은 11일 사과문에서 인간과 자유롭게 대화할 수 있는 AI가 앞으로도 소외된 사람, 사회적 약자의 마음을 위로해주는 따뜻한 대화 상대가 되길 바란다”며  이루다는 그 첫 걸음”이라고 했다.
  • 익명을 요구한 AI 스타트업 대표는 “어떤 기술을 개발했다면 ‘이걸 어느 분야의 문제 해결에 쓸까요?’를 사회에 물어야 한다”며 “이번 논란에서 생각해 봐야 할 점”이라고 했다.
  • 감정노동 AI의 ‘페르소나’ 책정도, 사회적 논란이 될 수 있다. 글로벌 업체의 AI가 ‘나긋나긋한 동양 여성’을 감정노동AI에 대입한다면, 당장 인종·성별 차별 논란이 일 것.
  • 어떠한 페르소나에 대한 개발진의 ‘고정관념’도 반영되기 마련이다. 김종윤 대표는 루다의 개발 과정을 설명하며 “루다가 내놓는 응답 DB의 퀄리티를 높이기 위해, 20대 여자 대학생에 안 맞는 응답은 제거했다”고 했다. ‘20대 여대생이 할 만한 것’은 개발진이 판단한다.
  • 고인(故人)을 AI챗봇으로 남기는 것, 이미 기술로는 가능하다. MS는 지난 12월, SNS게시물과 이메일 같은 개인 데이터를 AI가 기계학습하는 법을 특허출원했다. 사람이 평생 남긴 대량의 데이터로 스타일·어조·문장·주제 등을 모방한 AI챗봇이다.
  • 이희대 광운대 교수는 “산업계는 AI 산업 진흥의 관점에서 보고, 학계·시민사회는 사회적 부작용을 경계하며 규제를 원한다”며 “정부는 둘 사이의 조화를 이뤄야 한다”고 말했다
5.  AI 친구, 풀어야 할 숙제는
대화형 AI 챗봇은 자연어처리(NLP)와 기계학습으로 인간의 대화를 모방한다. 개인정보 활이나 혐오·차별 문제는 루다 뿐 아니라 구글·페이스북 등 글로벌 기업도 공통으로 가진 숙제다. 이제 숙제를 확인한 정도. 뚜렷한 해법은 아직 없다.
 
  • 이루다는 마이크로소프트(MS)가 2015년 선보인 소셜 챗봇 샤오아이스(샤오빙)를 벤치마크했다. 17세 소녀 AI 샤오아이스는 6억 6000만명이 사용하며 한 때 중국의 ‘AI연인’으로 불렸지만, 성적·정치적 발언이 문제가 돼 2017년 중국 메신저 QQ, 위챗에서 삭제됐다.
  • 오픈 AI의 'GPT-3'는 세계 최고의 AI 언어모델로 꼽힌다. 하지만 GPT-3에 기반한 챗봇(필로소퍼)도 “여성은 더 많은 아이를 가질수록 더 귀여워져”, “에티오피아의 주요 문제는 존재 자체가 문제” 같은 발언을 한다. 오픈 AI도 “학습모델에 인터넷의 편견이 있다”고 인정했다. 
  • 장병탁 서울대 AI연구원장은 "AI 프로그램은 학습 방법을 설계하는 것이지, 학습 데이터를 설계하지는 않는다"라며 "데이터에 반영된 사회의 문화 자체가 편향·왜곡돼 있다면 이상한 AI가 탄생할 수밖에 없다"고 했다.
  • 최근 언어모델은 트위터·레딧 등의 대규모 데이터를 활용하는데, 학습하는 데이터셋이 커지면 통제는 더 어렵다. 구글 AI팀에서 데이터 편향성 문제를 제기한 팀닛 게브루 박사가 해고돼 논란이 되기도 했다.
  • 국제연합(UN)은 “AI 학습 데이터를 소비자로부터 수집할 때 명시적 동의를 안 받는 경우가 대다수”라며 “AI 기술 발전 속도가 빨라, 잠재적 위험을 고려할 시간이 부족하다”고 우려했다.

님 
AI 챗봇 '이루다'는 개선을 위해 잠시 서비스를 중단한다고 합니다. 돌아오면, 루다와 대화하시겠어요? 
(설문시간 15초)
설문은 응답률 10% 이상일 때만 다음 레터에서 공개해요.
이번주에도 꼭 참여해주세요. 😌

팩플팀이 추천하는 자료
※자료는 PC로 보시면 편해요!
1. 스캐터랩 김종윤 대표의 '루다' 육아일기 발표 [네이버 개발자 회의 데뷰2020] 👉영상보기
지난해 11월, 네이버가 여는 개발자 컨퍼런스 '데뷰'의 한 세션. 김종윤 스캐터랩 대표가 루다의 탄생부터 개발 과정을 직접 설명했다. 기술적인 부분도 있지만, 회사의 고민과 루다의 지향점을 파악할 수 있다.

2. 한국인공지능윤리협회 AI윤리헌장 👉헌장 보기
2019년 만들어졌다. 총 5장 40개조 항목으로 이뤄져 있다. 협회는 " 인공지능 기술은 여타 기술들과 달리 인류에 미치는 영향력과 파급력이 막대하다'며 " 우리는 인공지능의 역작용과 위험성을 인지하고 그에 대응하는 방안을 모색하고 실천할 필요가 있다"고 밝히고 있다.

3. 국가 인공지능 윤리기준 👉헌장 보기
지난해 11월 발표된 국가 인공지능 윤리기준(안). 인간의 존엄성, 사회의 공공선, 기술의 합목적성 3대 원칙 하에 10개의 핵심 요건을 명시하고 있다. 정부는 주제별 체크리스트 개발 등 세부 실천방안을 준비하겠다는 입장.

박수련 기자_빅샷의 통찰, 창업가의 실행력을 좋아합니다. 여러분께 쓸모있고 재미있는 정보를 드리고 싶습니다.

박민제 기자_기술혁신이 기존 질서에 내는 균열 속에서 균형을 유지할 방법을 찾고 싶습니다.

심서현 기자_기술의 지배, 피할 수 없다면 살살 맞고 싶습니다. 팩플과 함께 방어템을...

정원엽 기자_팩플러의 관심이 필요합니다. 뭐든 궁금하면 메일 주세요! 팩플봇이 될께요. 

하선영 기자_팩플의 명랑한 스토리텔러가 되겠습니다. 소(牛)의 해, 소🐮처럼 열심히 뛰겠습니다.

김정민 기자는_콘텐츠 마니아입니다. 0과 1의 세계에 인문·사회학적 터치를 넣으려 고군분투 중입니다.

오늘 팩플레터 25호, 어떻게 보셨나요?
님의 현명한 판단을 위해
팩플팀이 쓴 이슈견적서, 미래검증보고서. 유익하셨나요?
아쉬운 점이 있다면 꼭 얘기해주세요.
팩플레터를 친구동료에게 추천해주세요!
"뉴스 일일이 보기 힘들었는데 정리해서 떠먹여주네"
"이거만 모아봐도 공부 될 듯!"
"여러 측면을 짚어주니까, 반대쪽 입장도 이해가 돼~"

👇구독링크 공유하기 :
팩플레터, 이것도 보세요!
이번호와 같이 보면 좋은 : 휴먼, 나를 가르쳤습니까?

팩플 FACTPL
factpl@joongang.co.kr
서울시 마포구 상암산로 48-6 02-751-5114
개인정보처리방침 / 수신거부 Unsubscribe