영화 '알라딘'을 보면 요술램프 속 지니가 주인공이 말하는 대로 즉시 소원을 이뤄주는 장면이 나옵니다. 이 모습은 구글 딥마인드의 지니와 매우 흡사합니다. 구글 딥마인드가 지난 5일 (현지시간) 공개한 지니3는 텍스트 프롬프트 한 줄만으로 실시간 3D 세계를 생성하고, 사용자가 직접 탐험할 수 있는 인터랙티브 환경을 제공합니다.

지니 3의 핵심은 '월드 모델'(World Model)이라는 개념에 있습니다. 월드 모델은 단순히 그림을 그리는 생성형 AI가 아니라 주어진 정보를 바탕으로 세상의 규칙과 물리 법칙을 이해하고 재현합니다. 예를 들어 '눈 덮인 숲속에서 모험하기'라는 문장을 입력하면 눈송이가 떨어지고 발자국이 남는 환경이 만들어집니다. 그리고 그 속에서 캐릭터를 직접 조종하며 길을 찾아갈 수 있습니다.

이 기술은 방대한 양의 비디오와 3D 데이터에서 학습한 덕분에 장면의 시각적 요소뿐 아니라 사물 간의 상호작용까지 반영합니다. 즉 문을 열면 경첩이 움직이고, 공을 던지면 중력에 따라 포물선을 그리며 떨어지는 식입니다. 놀라운 점은 이 모든 것이 프로그래밍 없이 즉석에서 구현된다는 것입니다. (다만 현재 연구 수준에서는 실제 물리 법칙을 완전히 이해하고 재현하는 수준에 도달한 월드 모델은 없는 상태입니다.)

구글 딥마인드가 공개한 지니3의 경우 마치 게임을 하듯 키보드 방향키를 조작하면 화면 속 공간을 돌아다닐 수 있습니다. 페인트 붓을 들고 벽 앞을 움직이면 그 모습 그대로 페인트가 칠해지거나 바닷가에 있는 강아지를 방향키에 맞춰 원하는 방향대로 움직일 수 있게 합니다. 또 길을 걷다가 길가에 세워진 자동차 문을 열 수도 있습니다.

특히 지니3는 가상 세계에서 실시간 상호 작용이 가능하다는 것을 넘어 이전 상황까지 기억하고 어느 정도 환경의 일관성을 유지합니다. 가령 페인트를 칠했다가 공간을 이동한 다음 다시 원래 공간으로 복귀해도 당초 행동했던 결과물(페인트칠)이 그대로 남아 있다는 점입니다. 이전 모델의 경우 생성한 공간에 대한 기억 지속 시간이 초 단위에 불과했지만 지니3의 경우에는 수 분에 달할 정도로 시각적 메모리 능력이 향상됐습니다.

재미있는 기능은 또 있습니다. 가상세계를 만들고 조작하는 과정에서 추가적인 돌발 상황을 더할 수 있습니다. 예를 들어 개천 옆을 지나는 실시간 현장을 만들었다가 그다음 상황으로 '치킨 수트를 입은 러너'를 누르면 치킨 옷을 입은 사람이 달리기를 하거나 '제트스키'를 누르면 제트스키를 탄 사람이 강을 내달리는 모습이 나옵니다.

이 외에도 실사 느낌의 가상 세계는 물론 게임과 같은 애니메이션도 만들어 해당 세계를 누빌 수 있습니다. 이를테면 우리가 상상할 수 있는 모든 공간을 AI를 통해 만들어 내고 그 안에서 AI와 상호작용 할 수 있는 수준으로 월드 모델이 진화한 것입니다.

구글의 대표적인 동영상 생성 AI 모델 '비오'와 비교하면 어떨까요? 영상의 화질 측면에선 비오가 최대 4K 해상도를 지원한다는 점에서 지니3는 720p로 밀립니다. 다만 비오가 연출된 상황만을 만들어내는 AI라면 지니3는 실시간으로 가상 세계에서 내가 원하는 장면을 만들어 나간다는 점에서 기술적인 난도는 지니3가 더 높습니다. 만약 지니 시리즈가 비오 시리즈에 준하는 화질을 제공할 수 있게 된다면 영상 활용도 측면에선 지니가 더 높을 것으로 관측됩니다.

그렇다면 지니3가 가진 한계는 무엇이 있을까요? 구글 딥마인드는 우선 공간을 기억하는 시간이 길지 않아 상호작용에 있어 시간이 제한될 수밖에 없다는 점을 언급했습니다. 또 사용자가 만든 가상의 세계에서 다양한 환경 개입을 가능하게 하지만, 사용자와의 인터랙션에 있어서는 제약이 있다는 점도 한계로 지목했습니다. 이를테면 사용자가 개천 옆을 지나는 가상 세계를 AI로 만든 다음 이곳에서 치킨 옷을 입은 사람을 추가로 등장시킬 수는 있지만, 해당 객체와 대화를 하거나 함께 공통의 임무를 수행하는 것과 같은 복잡한 상호작용은 어렵다는 얘기입니다. 또 앞서 언급한 바 있듯이 물리적인 세계를 100% 이해하지 못한다는 점도 한계로 꼽힙니다.

지니3와 같은 월드 모델 기술이 성숙해질수록 우리는 점점 더 현실과 가상의 경계를 구분하기 어려운 시대에 접어들고 있습니다. 예전에는 가상현실(VR)이라는 말이 곧 어색한 그래픽과 제한된 움직임을 의미했습니다. 하지만 이제는 텍스트 한 줄이 실제와 거의 구분되지 않는 3D 환경을 만드는 시대가 열리고 있습니다. 특히 이 환경 속에서의 행동이 즉시 반영되고, 시간이 지나도 그 흔적이 남는다는 점은 '가상'이라는 단어마저 재정의하게 만듭니다.

이 변화는 단순히 오락의 차원을 넘어섭니다. 교육에서는 역사 속 사건을 실시간으로 재현해 체험할 수 있고, 과학 실험에서는 위험하거나 비용이 많이 드는 실험을 가상 공간에서 안전하게 시도할 수 있습니다. 산업 현장에서는 건축이나 설계 과정에서 가상의 시뮬레이션을 통해 문제를 사전에 발견하고 해결할 수 있게 됩니다. 마치 '실행 전 리허설'이 모든 분야에서 가능해지는 셈입니다.

메타버스가 한창 화제가 된 지 몇 년이 지났습니다. 한때는 '세상의 모든 활동이 가상 공간으로 옮겨갈 것'이라는 말이 나올 정도였지만, 지금은 열기가 조금 가라앉았죠. 그러나 메타버스의 불씨는 다른 이름으로 다시 피어나고 있습니다. 그것이 바로 '공간 컴퓨팅'입니다.

공간 컴퓨팅은 단순히 가상현실(VR)이나 증강현실(AR)만을 의미하지 않습니다. 현실 세계와 디지털 세계의 경계를 허물고, 사람·사물·정보가 실시간으로 상호작용할 수 있는 환경을 만드는 기술입니다. 애플이 지난해 초 출시한 '비전 프로'가 대표적인 예인데요. 이 기기는 단순한 헤드셋이 아니라, 눈·손·목소리로 디지털 객체를 조작할 수 있는 '공간 컴퓨터'라는 새로운 개념을 제시했습니다.

기술적으로는 세 가지가 핵심입니다. 첫째, 고정밀 3D 매핑 기술로 실제 공간을 디지털로 재현하는 것. 둘째, 센서와 카메라를 통한 사용자 동작 인식. 셋째, 이를 실시간으로 처리하는 고성능 컴퓨팅입니다. 여기에 상황 인식과 자연스러운 사용자 인터페이스도 중요한 요소로 꼽힙니다. 이 조합 덕분에 우리는 물리적 한계를 넘어서는 새로운 작업·교육·엔터테인먼트 환경을 경험할 수 있습니다.

공간 컴퓨팅이 흥미로운 이유는 '현실의 확장'이라는 방향성에 있습니다. 기존 메타버스가 '완전히 가상의 세계'를 지향했다면, 공간 컴퓨팅은 '현실 위에 디지털을 겹쳐놓는 방식'을 택합니다. 예를 들어 의사는 실제 수술실에서 3D 인체 모델을 보며 시뮬레이션을 할 수 있고, 엔지니어는 전 세계 동료와 함께 같은 가상 작업물을 실시간으로 편집할 수 있습니다.

물론 과제도 큽니다. 장비 가격이 높고, 무게와 착용감 문제로 장시간 사용이 어렵습니다. 또 현실과 가상을 섞는 만큼 개인정보 보호와 보안 이슈가 더욱 복잡해질 수 있습니다. 그러나 기술 발전 속도를 보면 이런 한계는 시간의 문제일 가능성이 큽니다.