출처: Yann LeCun on a vision to make AI systems learn and reason like animals and humans (Meta, 2022)

World Model은 우리가 살고 있는 물리적 세계의 원리에 기반해 세상을 이해하는 것을 목표로 합니다. 즉, 무엇을 생성하든 우리가 경험하는 상식에 기반해서 결과물을 생성해야 합니다. 그렇다면 AI가 우리의 세계를 이해하고 있다는 것을 어떻게 알 수 있을까요? 답은 간단합니다. AI에게 물어보면 됩니다! 지난 2월, OpenAI의 Sora가 공개된 이후 큰 반향이 일었죠. Sora에게 요청한 결과물은 어떤가요? 단순히 영상 생성을 사실적이라는 것을 넘어 우리의 물리 세계를 이해한 듯 보였습니다.

AI가 세계를 이해한다면 우리의 미래는 어떻게 달라질 수 있을까요? World Model에 대한 연구는 이제 초읽기에 들어갔는데요. 지난 5월 초, Sora를 중심으로 World Model이 기여할 수 있는 세 가지 분야에 대한 종합적인 연구가 이뤄졌습니다. 세 가지 분야는 비디오 생성, 자율 주행, 그리고 자율 에이전트입니다. 이번 뉴스레터에서는 <Is Sora a World Simulator? A Comprehensive Survey on General World Models and Beyond> 논문을 기반으로 World Model이 가져올 변화에 대해 알아보도록 하겠습니다.

출처: Is Sora a World Simulator? A Comprehensive Survey on General World Models and Beyond (Zhu et al., 2024)

Sora는 일상적인 영상부터 예술적 표현까지 다양한 분야에서 활용될 수 있는 잠재력을 보여줬습니다. AI가 생성한 영상이 단순히 연속된 이미지의 나열이 아니라 시공간에 걸쳐 일관된 물리적 법칙을 반영할 수 있다는 것을 보여준 계기이기도 합니다.

Sora 모델 아키텍처. 출처: Is Sora a World Simulator? A Comprehensive Survey on General World Models and Beyond (Zhu et al., 2024)

아쉽게도 Sora 모델에 대해서 자세히 알려지진 않았습니다. Sora 기술 보고서를 통해 통해 기반 모델로 DiT(Diffusion Transformer)를 채택했고, 압축 모델의 인코더 디코더 구조, 생성 조건이 GPT를 활용해 입력됐다는 대략적인 정보만 알 수 있었습니다. 하지만 이 시스템만 갖췄다고 해서 Sora가 될 수 있는 것은 아닙니다. Sora 성능의 핵심 비결은 데이터일 것으로 추측하고 있습니다. AI 모델은 어떤 데이터를 학습하느냐에 따라서 모델의 성능은 크게 좌우될 수 있습니다.

일각에서는 Sora가 게임 비디오를 학습했을 것이라고 말하는데요. 터무니 없는 주장은 아닙니다. 3D 게임의 캐릭터들은 물리 엔진을 기반으로 행동합니다. 즉, 이미 우리 세계의 물리 법칙들이 반영되어 있다고 볼 수 있지요. 게다가 게임을 활용하면 인간의 다양한 행동, 다양한 화면비와 화각에서, 대량으로 확보할 수 있습니다. 다시 말하면 양질의 학습 데이터를 쉽게 확보할 수 있다는 의미기도 합니다. 만약 게임 데이터를 학습하지 않았다고 하더라도 이런 아이디어는 World Model을 형성하는 데 큰 잠재력을 가지고 있다고 볼 수 있습니다.

자율 주행은 불확실성과의 싸움입니다. 이 불확실성은 크게 두 범주로 나눌 수 있는데요. 1) AI 모델이 가지고 있는 내재적인 불확실성과 2) 세계가 내포하고 있는 본질적인 불확실성입니다. 지금까지는 자율 주행 자체의 성능을 끌어 올리고 시스템에 내재한 불확실성을 줄이는 데 집중했다면 앞으로는 점점 더 세계의 불확실성에 대응하는 방향으로 나아가고 있습니다.

World Model의 특징을 생각해보면 자연스럽게 자율 주행에 적용이 가능하다는 생각이 듭니다. 차량이 복잡하고 예측 불가능한 도로 환경을 효과적으로 이해하고, 그에 따라 안전하게 반응하도록 하기 위해서는 세계를 반드시 이해하고 있어야겠죠. 예를 들어, 자동차 운전 중 브레이크가 걸리지 않는 돌발적인 상황에서 사람은 고의로 가드레일에 부딪치며 서서히 속력을 줄여나갈 수 있습니다. 그렇다면 AI도 그런 판단을 내릴 수 있을까요? World Model이 중요한 이유는 여기에 있습니다.

출처: Is Sora a World Simulator? A Comprehensive Survey on General World Models and Beyond (Zhu et al., 2024)

2023년부터 현재까지, World Model을 반영하려는 시도는 계속되고 있습니다. 그러기 위해서는 앞서 비디오 생성과 마찬가지로 물리 법칙과 교통 제약 조건이 반영된 데이터가 필요합니다. 이를 위해 자율 주행을 위한 World Model 데이터를 생성하는 모델들이 개발되고 있습니다. 여기서 핵심은 상황의 일관성(Consistnecy)과 기술적 제어(Control)인데요. LLM을 기반으로 이런 제약 조건들을 부여하고 다양한 환경을 학습할 수 있도록 만드는 것입니다.

출처: GAIA-1: A Generative World Model for Autonomous Driving (Hu et al.,2023)

위의 사례는 이미지와 조건을 부여해 2D 비디오 프레임을 생성하는 과정을 보여줍니다. 최근에는 이를 넘어서 3D 모델링으로 학습 데이터를 생성하는 방향도 연구되고 있습니다. 이 분야에서는 LiDAR 센서를 이용해 실재하는 세계를 재구성하는 것을 목표로 하는데요. 결국 이런 연구들의 목표는 자율 주행 모델이 실제로 인간 운전자가 경험하는 세계를 학습하도록 만드는 노력으로 볼 수 있습니다.

자율 에이전트(Autonomous Agents)는 AI 로봇이나 마블의 <아이언 맨> 영화 속 JARVIS 같은 소프트웨어를 의미합니다. 즉, 인간처럼 보고, 듣고, 말하는 행동을 할 수 있는 대상을 의미하죠. 자율 에이전트의 핵심 요소는 3가지로 꼽힙니다. 세계를 인식할 수 있는 센서(Sensor), 직접 실행할 수 있는 행동(Action), 그리고 그 정보를 처리하는 계획(Planning)입니다. 이제 이들을 통합해 World Model로 연결하고자 하는 노력들이 이어지고 있습니다.

그리고 그중 대표적인 모델이 바로 JEPA입니다. JEPA는 얀 르쿤이 직접 아이디어를 제안한 모델입니다. 이 모델의 특징 중 하나는 이미지나 텍스트 등 표상적인 방식으로 생성하는 것이 아닌, 그 속에 담긴 잠재적인 표현을 학습하는 것을 목표로 합니다. 그리고 이 과정을 정답 없이 자기 지도 학습(Self-supervised) 방식으로 구현합니다. 이렇게 학습한 모델이 세계를 이해하고 있다고 보고 파인튜닝 등의 추가적인 학습을 통해 AI 에이전트를 만들어내는 것이죠.

물론, 실제로 JEPA가 실현되지는 않았습니다. 최근 1년 사이 A-JEPA, I-JEPA, V-JEPA 논문이 발표되기는 했지만 아직까지 유의미한 성과로 이어지진 않았습니다. 대신에 게임, 로보틱스 등을 기반으로 모델들은 계속 발전해왔는데요. 이미지 한 장으로 게임 세계를 구현하거나, 일상생활에서 행동 가능한 로봇 관련 연구들을 꼽아볼 수 있겠네요.

출처: Learning Interactive Real-World Simulators (Yang et al., 2024)

앞으로 World Model은 필연적이라고 봅니다. 그 형태가 얀 르쿤이 제시한 JEPA가 아니더라도 AI가 우리가 사는 세상과 우리의 행동을 이해하지 않고서는 협업할 수 없기 때문입니다. 아직 그 성과가 뚜렷하진 않지만 장기적으로는 AI 모델에 큰 변혁이 한 번 더 일어날 것으로 기대하고 있습니다.

이미 웨어러블 AI, AI 랩탑, AI 핸드폰 등이 출시됐고, 그렇게 머지 않은 미래에는 로봇도 상용화될 것입니다. 이제 AGI를 향한 첫걸음은 내딛었습니다. 우리는 이 변화 속에서 무엇을 대비해야 할까요? 그리고 AI와 어떻게 공생할 수 있을까요? AI가 세계를 이해하는 것처럼 우리도 AI의 세계를 이해해나갈 필요가 있습니다.

: Anthropic이 대형언어모델(LLM)의 내부 구조를 탐색하는 연구 'LLM의 마인드 매핑'을 발표했습니다. 이를 통해 모델이 도시의 이름, 사람, 과학 등 다양한 개념을 어떻게 처리하는지를 파악했습니다. 또한, 이런 개념들이 텍스트와 이미지를 포함한 멀티모달 형식으로 존재한다는 것도 확인했습니다. 

Apple, 내달 WWDC서 AI 기술 선보인다

: Apple이 다음 달 미국 캘리포니아에서 열리는 WWDC에서 OpenAI와의 파트너십을 발표할 예정입니다. 이로써 Apple은 삼성전자의 Google Gemini를 탑재한 갤럭시 모델과 경쟁 구도를 형성하게 될 것으로 보입니다. 이번 WWDC에서 AI를 활용한 새로운 이모티콘 서비스와 다양한 AI 기능을 공개할 계획입니다. 

Google, AI Overview 검색 기능 논란 이어져

: Google의 새 AI 검색 기능 'AI Overview'가 잘못된 정보를 제공해 논란이 일고 있습니다. 예를 들어, "미국에 몇 명의 무슬림 대통령이 있었나요?"라는 질문에 "버락 후세인 오바마라는 한 명의 무슬림 대통령이 있었다"고 잘못 답했고, 다른 질문에는 "하루에 최소 한 개의 작은 돌을 먹어야 한다"거나 "피자 소스에 접착제를 발라야 한다"는 등의 부적절한 답변을 제공했습니다.