AI 대부가 구글을 퇴사한 이유

10년 전부터 강조되었던 AI 안전 연구

이번 레터를 위해 리서치하다가 10년 전부터 이미 AI의 위험성과 이를 막기 위한 방향성 설정이 필요하다는 이야기를 해온 사람이 있다는 걸 알게 되었어요. 물리학자이자 MIT 교수인 맥스 테그마크는 ⟪라이프 3.0⟫의 첫 번째 챕터에서 인간에게 도움이 되는, 안전한 AI를 만들기 위해 연구계가 함께 이야기해야 한다는 필요성을 느꼈다고 이야기합니다. 그렇게 그가 2014년에 설립한 기관이 바로 '생명의 미래 연구소(FLI)'예요. 네, 위에서 이야기했던 'AI 개발을 잠시 멈추자'며 공개서한을 보냈던 바로 그 기관이요.

책 자체는 AI가 인간의 지능을 넘어서는 시점이 되면 어떻게 할 것인가에 대한 이야기를 많이 다루고 있지만, 저는 현재 시점에서 어떤 방향성을 가지고 어떤 대안을 마련하면 좋을지를 위주로 읽었습니다.

테그마크는 AI가 우리 삶을 여러 방면에서 훨씬 낫게 만들 수 있지만, 실제 시스템을 AI로 대체할 때는 AI가 우리가 원하는 일을 하도록 학습시키는 것이 가장 중요하다고 이야기합니다. 이 과정에서 새로운 문제를 불러오지 않으려면 크게 네 가지 사안에 대해 고민해야 한다고 합니다.

1. (안전) AI 시스템이 오작동하거나 해킹당하지 않도록 튼튼하게 만드는 방법
2. (법률) AI와 보조를 맞추고 관련 위험을 통제하기 위해 법률 시스템을 더 공정하고 효율적으로 갱신하는 법
3. (국방) 자율 무기를 향한 군비 경쟁 없이 무고한 사상자를 줄이도록 무기를 개발하는 법
4. (경제) 사람들이 돈을 못 벌거나 목표를 상실하지 않으면서도 계속해서 번영하는 법

특히 첫 번째 사안은 AI의 안전성에 대한 이야기로, 다른 세 가지 사안보다도 먼저 고민하고 연구해야 하는 사안입니다. 역사적으로 인류는 실수로 사고가 발생하면 이를 방지할 대안을 만드는 식으로 개선하며 나아가 왔습니다(자동차 발명→교통사고→안전벨트, 에어백 발명). 하지만 점점 기술이 강력하고 영향력이 커지면서 사고가 한 번이라도 생기지 않도록 사전에 방지하는 것이 중요해졌지요. 그런 점에서 이로운 AI를 만들기 위해서는 AI의 성능을 개선하는 것만큼이나 AI 안전 연구 역시 매우 중요하다고 책에서는 이야기합니다.

책의 에필로그에서 FLI가 어떻게 이로운 AI를 만들기 위해 노력했는지도 볼 수 있었는데요, 핵심은 그전까지는 주류에서 밀려나 있던 AI 안전 연구를 주류로 가져오는 것이었습니다. 먼저, 2015년 푸에르토리코 컨퍼런스에서 AI 안전 연구가 가치 있고 필요하다는 합의를 형성한 후, 취지에 공감한 일론 머스크(!)에게 천만 달러를 지원받아 AI 안전 연구를 지원했어요. 덕분에 AI 안전 연구가 어느 정도 궤도에 오를 수 있었고, 다양한 기업에서도 이로운 AI를 위한 산업 협력체를 출범시켰으며, 이로운 AI를 추구하는 비영리 기업인 오픈AI도 설립되었다고 합니다.

테그마크를 비롯한 많은 연구자는 AI가 안전하고 이롭도록 많은 연구와 이야기를 해왔습니다. 이렇게 일찍부터 중요한 논의를 해온 사람들이 있다는 것이 신기하고 대단해 보였지만, 동시에 좀 허무해지기도 했어요. 출범 당시에는 FLI와 지향점이 비슷했던 오픈AI가 결국 FLI가 다시금 공개서한을 쓰는 계기가 되었으니까요.

AI 안전 연구는 크게 검증, 확인, 안전, 통제 네 가지로 나눠지는데, 이중 검증은 "내가 시스템을 제대로 만들었나"를 의미한다면 확인은 "내가 제대로 된 시스템을 만들었나"를 의미한다고 해요. 하지만 지금 공개된 챗GPT를 비롯한 챗봇들은 검증과 확인이 어느 정도까지 이루어진 채로 공개되었는지가 의문입니다. 챗GPT는 '베타'를 붙이고 처음 공개된 이후로 내부적으로 안전성을 개선하는 작업을 수없이 반복했죠. 오픈AI는 안전하지 않은 서비스를 빠르게 공개함으로써 AI 업계에서 앞서나가는 회사로 자리매김하는 걸 택한 거예요.

위의 AI가 문제를 일으키지 않도록 하려면 고려해야 하는 네 가지 사안 중 하나는 법률이에요. AI와 보조를 맞추고 관련 위험을 통제하기 위해 법률시스템을 갱신하는 법. 기술은 항상 빠르게 발전해 왔지만, 법률 시스템은 항상 한두 발짝씩 늦어왔잖아요. 이로운 AI를 만들기 위해서 법률도 중요하다는 이야기를 보고 역시 그렇구나 싶었습니다.

법률이나 규제가 기술보다 한참 늦었던 가장 큰 이유는 법을 만드는 사람들이 기술을 잘 모르기 때문입니다. 미국 캘리포니아 공화당 소속으로 유일하게 인공지능 석사 학위를 지닌 하원의원인 제이 오버놀트는 이렇게 이야기했습니다. "규제를 위해서는 어떤 위험성이 있는지에 대한 합의가 있어야 하고, 그러려면 AI에 대해 이해해야 한다. AI의 가장 큰 위험이 눈으로 레이저를 쏘는 악당 로봇이 아니라는 사실을 얼마나 많이 이야기했는지 모른다."라고요.

규제에 가장 앞서나가고 있는 것은 역시 유럽이에요. 유럽에서는 세계 최초로 지난 3월 'AI 법(AI Act)'의 초안을 공개했습니다. 비록 실제 사용자에게 미치는 영향만으로 AI 시스템을 좁게 해석하여 한계가 크다는 비판을 받았지만, 가장 빠르게 AI에 대한 대응을 시도하고 있다는 점이 고무적입니다.

미국에서는 지난해 10월 미국에서는 'AI 권리장전을 위한 청사진(Blueprint for an AI Bill of Rights)'을 발표했고, FTC를 포함한 규제기관들에서도 기자회견을 통해 규제에 대한 의지를 밝혔다고 합니다. 며칠 전인 4일에는 AI 개발사 CEO를 백악관으로 초청해 AI의 책임감 있는 혁신을 강조하고, 위험을 최소화하는 것이 우선이라고 이야기도 했다네요. 비록 법안 제정의 단계에 닿진 못했지만, 미국 정부치곤 꽤나 빠른 거라고 하네요.