1. AI 논쟁 뒤집어보기: AI를 살펴보는 다양한 시각들
2. 오래 알고 지낸 온라인 친구가 알고보니 AI였다면?

AI 논쟁 뒤집어보기

: AI를 살펴 보는 다양한 시각들

by. 🥨채원

지난 주, 베를린 사회 과학 센터에서 이루어진 <변화하는 AI 논쟁: AI를 위한 자극, 도발 및 문제 제기>라는 학회에 다녀왔어요. 학회는 Shaping AI라는 프로젝트의 성과를 나누는 자리이기도 했는데요. Shaping AI는 2021년부터 독일 프랑스, 영국, 그리고 캐나다의 연구진들이 3년 간 진행한 다국적, 다학제간 연구로 AI에 대한 공공 논의가 어떻게 진행되는지 살펴보는 프로젝트입니다.

마침 학회에서 다뤄진 내용이 AI 윤리 레터에서 관심 있게 지켜보는 주제들과 일맥상통하는 부분이 많더라고요. 인상 깊었던 발표들 중 구독자 여러분도 흥미로워할 만한 몇 가지 프로젝트를 소개합니다.

‘보통 사람’의 AI

AI 전문가만 AI에 관해 이야기할 수 있는 걸까요? 자동차가 어떻게 동작하는지 몰라도 제대로 작동하지 않는 자동차를 비판할 수 있고, 불만을 표출할 수 있는 것처럼, AI도 마찬가지일 것입니다. 그런데도 공적 영역에서 이루어지는 AI 논의에서는 비전문가의 목소리가 잘 들리지 않아요. 이미 AI 기술이 사회의 다양한 영역에서 사용되고 있고, 더욱 늘어날 전망인 만큼 ‘보통 사람’의 시각은 반드시 필요합니다.

이러한 문제 의식에서 출발한 벨기에의 Amai! 프로젝트는 보통 사람들이 AI에 대해 어떻게 생각하는지, AI가 해줬으면 하는 일이 뭐가 있는지 등 AI에 대한 궁금증과 의견들을 수집하여 분석합니다. 이렇게 수집된 궁금증 중에는 ‘AI가 비오는 날 자전거 도로가 더 명확하게 보일 수 있도록 해줄 수 없느냐’는 질문도 있었다고 해요. AI가 마치 모든 문제를 해결해줄 수 있는 전지전능한 기술로 인식되는 경향을 보여주는 예시이죠.

국가와 인공지능의 복잡한 관계

AI 기술의 가파른 발달에 국가는 어떻게 대응해야 할까요? 이 발표를 듣기 전에 저는 국가의 역할은 규제라고 막연히 생각했어요. 하지만 생각보다 국가의 역할이 다양하더라고요.

국가는 AI가 사회에 미칠 영향을 고려하여 시민의 기본권을 보호하기 위한 규제를 만들고 실행하는 역할을 하지만, 그 외에도 AI 서비스를 구매하는 구매자이기도 합니다. 인공지능 개발에 공적 자금을 투자하여 기술 개발을 촉진하는 역할도 하죠. 동시에 인공지능 인프라(슈퍼컴퓨터 등)를 구축하여 기술의 생산자로서의 역할도 수행합니다. 국가의 세 역할은 AI 생태계에 어떤 영향을 미치고 있을까요? 자세한 내용이 궁금한 분들을 위해 저자의 논문을 링크합니다.

각종 기술의 실패에 대처하는 방법

요즘 뉴스를 보면 심심치 않게 AI의 ‘오작동’으로 인해 무고한 사람들이 피해를 보는 사례를 낯설지 않게 목격하게 됩니다. 이러한 AI의 실패 사례들을 모아두는 데이터베이스도 유명합니다. AI가 각종 애플리케이션에 도입되기 시작했던 몇 년 전까지만 해도 이런 사건이 하나 터지면 온 세상을 뒤덮곤 했습니다. 예컨대 인종 차별 문제가 있었던 구글 포토 이미지 분류기나 미국에서 범죄자의 형량을 계산하는 데 사용되었던 COMPAS 알고리즘이 그렇습니다.

이런 ‘사고’가 비일비재해진 탓일까요. 이제는 우리 사회는 웬만한 AI 알고리즘의 실패에는 무덤덤해진 것처럼 보입니다. 무뎌지거나 절망하는 것 외에 할 수 있는 게 없을까, 하는 고민을 하게 되는 순간이 오는 것 같아요.

Repair 프로젝트는 기술적 실패를 단순한 사고로 보는 관점에서 나아가, 실패가 자리 잡고 있는 복잡한 맥락을 파악하고, 공공 가치, 신뢰와 같은 공공의 가치에 어떤 영향을 끼치는지 파악합니다. 이를 계기로 사회에 내재하여 있던 문제를 해결하고, 사회 구조의 약한 지점이나 위험 요소를 찾아내서 비슷한 기술 실패가 재발하지 않도록 제도적 개선까지 이어질 수 있도록 노력합니다.

회고를 마치며

AI 기술을 만드는 사람의 입장에 익숙한 제게 이번 학회는 새로운 시각에서 AI를 바라볼 수 있는 기회였습니다. 사회의 맥락 안에서 치열하게 AI를 탐구하는 연구자들을 보며 인간 중심 기술에 대해 더욱 고민하게 되었죠. 구독자분들이 생각하는 인간 중심 AI란 어떤 것일지 궁금합니다. 뉴스레터를 통해 다양한 분들과 생각을 나누게되길 바랍니다.

계정 소유주가 크게 개의치 않는 것인지, 몇 주가 지났지만 Zheng씨는 오늘도 성실히 활동 중입니다. 얼마 지나지 않아 저에겐 또 다른 싱가포르 친구가 생겼습니다. 이번엔 Zhang씨입니다. 귀찮은지 예전 사진을 지우지도 않아 원소유주의 흔적이 그대로 남아있습니다.

대체 무슨 일이 벌어지고 있는 걸까요?

가볍게 글로 풀었지만, 소셜 미디어 사용자라면 한 번쯤 겪어봤을 계정 해킹(Account take-over fraud)의 사례입니다. 해킹 이후 본 계정의 정체성을 그대로 유지하면서 투자를 권유하는 등의 범죄 형태도 있지만 위의 예시처럼 기존 사용자의 흔적을 지우고 다른 사람인 척하는 경우도 있습니다. 높은 확률로 러브스캠 등의 사기행각을 위한 준비 과정입니다. 2022년 미국에서만 7만여 명이 러브스캠으로 피해를 보았고, 피해액은 무려 1조 7천억원에 달합니다.

Zheng 씨로 둔갑한 동문의 계정을 더 면밀히 살펴보니, 10년 전 글까지 본인 사진과 글로 꼼꼼히 수정해 놓은 정성이 엿보입니다. 왜 이렇게까지 하는 걸까요? 생성형 AI로 글, 사진은 만들 수 있지만 시간이 축적되며 쌓여야 하는 기록과 네트워크는 생성이 불가능하기 때문입니다. 반대로 말해 ‘쌓인 시간’이란 조건을 갖춘 계정을 탈취한다면, 사기행각에 유용하겠죠.

생성형 AI가 본격적으로 주목을 끈 지난해부터 거대언어모델(LLM)이 위와 같은 범죄에 악용될 가능성은 수없이 제기됐습니다. 수공업 없이도 가짜 이미지나 글을 ‘효율적으로’ 생성해 낼 수 있을 뿐 아니라, 언어 장벽을 뛰어넘어 전 세계를 무대로 활동할 수 있게 해주기 때문이죠.

불길한 가능성은 여기서 그치지 않습니다. 지난해 4월 스탠포드 대학을 통해 발표된 한 연구는 LLM이 온라인상에서 인간과 흡사하게 행동하는 행위자(agent)를 생성해 낼 수 있음을 예고했습니다. 게임 업계는 환호했습니다. 사람이 직접 조작하지 않는 비디오 게임 캐릭터(Non-Player Character, NPC)에 적용하면 게임의 세계관과 완성도가 크게 확장될 것이기 때문이죠.

NPC와 같은 생성형 행위자(generative agents)들이 소셜 미디어에서 활동을 시작한다면 어떨까요? AI 계정이 인간 이용자들과 댓글을 주고받고, 친구를 맺기 시작한다면, 그렇게 계정에 시간이 쌓여간다면? 우리는 인스타그램에서 왕래하는 이웃이 AI가 아닌지 어떻게 알아볼 수 있을까요? 최악의 경우, 누군가 이런 계정을 대규모로 생성해 조직적 사이버 불링이나 여론 선동을 시도할 가능성도 배제할 수 없습니다.

이름도 생소한 생성형 행위자. 최악의 시나리오를 이야기하는 게 섣불러 보일지 모르겠습니다. 하지만 메타의 CEO 마크 저커버그는 이미 지난해 4월, 생성형 행위자를 언급한 적이 있습니다. 메타의 주력 사업인 메타버스 경험을 항상 시켜줄 기술로 말이죠.

지난주, Zheng & Zhang의 계정이 해킹된 계정이라고 신고했을 때 ‘아무 문제가 없다’라는 답변을 받았습니다. Q&A 봇이 답변한 게 아닐지 의심스러울 만큼 순식간에 돌아온 답변이었습니다. 인간의 수공업형 범죄에도 속수무책인 온라인 공간은 앞으로 다가올 일들에 대해 준비가 된 걸까요?

• 🤖 아침: 생성형 행위자들이 활동하는 이른바 ‘합성 소셜 네트워크’는 이미 실존하는 서비스로 성큼 다가오는 중이죠. 봇이 인간 계정을 사칭하는 데 그치지 않고 행위자로서 전면에 나오는, 그리고 인간 이용자도 생성형 기술을 이용해 활동하는 일이 잦아지는 시대. 무엇이 진짜인지 알아보는 문제뿐만 아니라, 과연 ‘진짜’라는 것은 무엇인지를 고민해야 하는 시점 같습니다.