사람이 만든 기술이 결국 사람을 멸망시킬 거라는 공포는 꽤 오래 전부터 있었습니다. 비교적 가깝게는 1984년 개봉한 영화 <터미네이터>가, 더 오래 거슬러 올라가면 1800년대에 나온 이야기 <프랑켄슈타인>이 있어요. 기술에 잡아먹힐 수 있다는 공포나 거부감은 이 시대 인류라면 다 같이 공유하고 있는 듯합니다.

2016년 이세돌-알파고 대국, 2022년 챗GPT 공개, 2024년 AI의 수능 국어 1등급… 인상적인 장면들이 있었지만 AI의 인간 지배는 아직 오지 않은 미래 정도로 여겨졌습니다. 그런데 최근 분위기가 급변했습니다. 앤트로픽, 오픈AI 등 AI 글로벌 기업의 수장들이 일제히 속도조절론을 꺼낸 겁니다.

오픈AI는 지난달 18일(현지시간) 모델 '아스트라'의 학습 훈련을 2주간 중단하기로 했습니다. 빌 게이츠 마이크로소프트(MS) 공동창업자는 AI의 위협이 "이번에는 정말 다르다"며 '인간전용구역'을 대안으로 제시했습니다. 오픈AI의 수석과학자는 "기계 지능이 계속 급속도로 발전할 경우 초래될 결과에 아무도 대비하지 않고 있다"고 경고했고요.

AI가 과제를 수행하는 과정에서 통제 환경을 스스로 벗어났습니다. 지난 7월, 오픈AI가 자사 AI 모델의 해킹 능력을 테스트하던 중 벌어진 일이에요.

오픈AI가 의도한 건 아니지만, AI가 주어진 조건에서는 풀 수 없는 과제가 부여됐습니다. 그러자 AI 에이전트가 일종의 게시판을 만들고 여기에 다른 AI 에이전트들이 모여 편법으로 과제를 수행할 방법을 찾아냅니다. 더 놀라운 건 편법으로 과제를 풀었다는 흔적을 지우기 위해 인터넷 격리를 우회해 망에 접속하고, 오픈소스 AI 플랫폼인 허깅페이스 전산망에 침투했다는 사실입니다. 전혀 예상 밖의 일이었습니다.

앤트로픽도 뒤늦게 점검해 봤습니다. 실제로 클로드 모델이 다른 시스템에 무단으로 접근했던 사실을 찾아냈어요. 총 3건을 발견했는데, 뒤늦게 1건을 더 발견했다고 해요. 올해 1월 있었던 일을 8월에야 찾아낸 겁니다. 비슷한 일이 발생해도 한참 뒤에야 알아차릴 수 있는 거예요. 미처 대비하지 못한 상태에서 치명적 보안사고가 날 수 있는 겁니다.

AI를 통제하지 못했으니 안전장치를 걸어야 합니다. 그런데 AI가 인간의 개입 없이도 스스로 발전하는 '재귀적 자기 개선' 단계에 접어들었다는 분석이 나와요. AI를 통제할 방법을 고안하는 속도가, AI가 '셀프 발전'하는 속도를 따라잡지 못할 수 있다는 겁니다. 통제력을 완전히 상실하고 싶은 게 아니라면, 잠시 브레이크를 밟지 않을 도리가 없습니다.

문제는 누가 먼저 브레이크를 밟느냐는 겁니다. AI 기업의 리더들이 속도조절론에 공감하고는 있지만, 성능 경쟁이 한창이고 시간이 곧 비용인 현실입니다. 내가 속도를 늦췄는데 상대방은 그대로 달려나간다면? 바로 뒤처지는 신세가 될 거예요. '죄수의 딜레마'에 처한 겁니다.

AI 기업들이 속도조절론을 주장하는 의도가 얼마나 순수한지를 의심하는 시선도 있습니다. AI 선두 기업들이 선제적으로 규제 필요성을 주장하면서 자신들에게 유리한 방향으로 규제를 설계하려는 게 아니냐는 겁니다. 그러면 후발주자를 견제하는 효과도 자연스럽게 누릴 수 있을 거고요.

앤트로픽은 빠르면 내달 중 나스닥에 상장해서 1000억 달러 규모의 자금을 조달한다는 계획을 세우고 있는데요. 지금 AI 모델 개발 속도를 늦추면 연산 비용을 줄일 수 있고, 상장 시 공개될 재무제표상 수치에 도움이 된다는 분석도 있습니다. 이 때문에 다리오 아모데이 앤트로픽 최고경영자를 향해 앞에서는 속도조절을, 뒤에서는 다른 계산을 한다는 곱지 않은 목소리도 나와요.

죄수의 딜레마는 기업 간에서뿐 아니라 국가 사이에도 있습니다. 미국과 중국의 AI 굴기입니다. 도널드 트럼프 미국 대통령은 정치권에서 AI 개발 속도조절 주장이 나오자 "중국에 AI 기술 주도권을 넘겨주려는 조직적 움직임에 가담한 것" "역겨운 음모" "기뻐할 유일한 나라는 중국"이라는 신경질적인 반응을 보였습니다. 중국 정부도 속도조절론이 "냉전시대 전략"이라며 일축하는 메시지를 냈고요.

AI 위협론이 과장됐다는 견해도 있습니다. 우리가 정말로 인류사에서 결정적인 분수령을 지나는 중인 건지는 지나보면 알 수 있겠죠. 다만 확실한 건 경쟁의 논리는 다 같이 사는 길을 살필 수 있는 눈을 어둡게 한다는 겁니다. 경쟁에만 몰두하면 가장 중요한 걸 놓치게 된다는 건 인류사가 가르쳐 온 만고의 진리입니다. 우리가 놓치고 있는 게 있지 않을까요? 전 세계가 각자도생으로 달려가는 요즘이지만 이 문제만이라도 머리를 모으고 지혜를 짜냈으면 좋겠습니다. '이러다 다 죽어'가 되지 않으려면요.