이미지 출처 Vection Technologies

XR 기술의 기원은 의외로 먼 과거, 군대에서부터 시작되었습니다. 2차 세계대전 당시 조종사를 훈련시키기 위해 만들어졌던 비행 시뮬레이터는 오늘날 가상현실의 가장 원형적인 형태였죠. 1960년대에는 미국 공군이 최초의 HMD(Head-Mounted Display)를 개발했습니다. 단지 정보를 ‘보는 것’을 넘어, 인간의 시야와 움직임, 그리고 전술적 감각 전체를 확장하려는 시도였습니다.

그 기술이 어느새 가정용 게임기와 테마파크로 자리를 옮겼고, AI와 5G, 클라우드 컴퓨팅의 힘을 등에 업으며 XR은 더 이상 미래가 아닌 현실이 되었습니다. 그리고 지금, 이 기술은 다시 처음 출발했던 장소인 군대로 돌아오고 있습니다. 현대의 군대는 XR 기술을 ‘훈련용 도구’를 넘어 실제 전장 작전, 전투기 정비, 전술 지휘에까지 활용하고 있습니다. 가상현실 속에서 조준하고, 증강현실로 적을 식별하며, 전 세계 군사 전략은 현실과 가상이 뒤섞인 새로운 전장으로 옮겨가고 있습니다.

이번 뉴스레터에서는 XR 기술이 어떻게 군사 기술로부터 시작되었고, 어떻게 엔터테인먼트 산업으로 분화되었다가, 다시 국방기술의 전략 자산으로 복귀하게 되었는지를 살펴보겠습니다. 그리고 지금 이 순간에도 세계 각국의 군대가 XR 기술을 어떻게 활용하고 있는지, 왜 지금 다시 '국방기술'이 중요한 키워드가 되었는지까지 한 번 알아보겠습니다. 함께 따라가 보실까요?

- 중략 -

가상으로 구현된 환경 속의 경험으로 실제 훈련을 대신한다.

이미지 출처 Flickr

1961년, 미국의 Philco 사는 세상 최초의 헤드 마운티드 디스플레이(HMD) 장비인 Headsight를 개발했습니다. 이 장치는 사용자의 머리 움직임을 추적하여 연결된 카메라의 시야를 연동시키고, 각각의 눈에 작은 디스플레이를 제공했습니다. 이 장비의 목적은 분명했는데, 바로 위험 지역 정찰을 원격으로 수행하기 위해서였습니다. 정보 수집과 감시를 위한 장비가, 인간의 감각을 확장하기 위한 기술적 시도의 출발점이었다는 것이죠.

이후 아이반 서덜랜드(Ivan Sutherland)는 1968년, 컴퓨터를 이용한 HMD 장비 ‘다모클레스의 검(The Sword of Damocles)’를 개발합니다. 이 장비는 사용자의 시야에 컴퓨터 생성 이미지(CGI)를 투영하여 보여주는 최초의 시스템으로, 기술적으로는 AR(Augmented Reality)의 시초로 간주됩니다. 무게가 지나치게 무거워 천장에서 지탱해야 했기에 붙여진 별명이지만, 현대 HMD의 구조와 원리를 고스란히 갖춘 역사적인 장치였습니다.

- 중략 -

가상으로 구현된 환경에서 군사 훈련이 가능하다면,
다른 것들도 가능하지 않을까?

기술은 종종 예상치 못한 방향으로 흘러갑니다. 전쟁에서 생존을 돕기 위해 시작된 XR 기술은, 아이러니하게도 엔터테인먼트 산업에서 가장 먼저 꽃을 피웠죠. 1980년대 중반부터 1990년대 초반까지는, XR이 군을 떠나 ‘놀이터’로 가던 전환기의 시대였다 할 수 있습니다.

1985년, 컴퓨터 과학자 자론 라니어(Jaron Lanier)는 VPL Research라는 회사를 설립하며, 오늘날 우리가 부르는 “Virtual Reality”라는 용어를 대중화시켰습니다. VPL은 세계 최초로 상용화된 HMD 장비 EyePhone과 데이터글러브 등을 개발하여 시장에 내놓았죠. 이 장치는 당시로선 파격적이었고, 과학계·예술계·테크 산업 전반에서 “가상현실”이라는 단어를 퍼뜨리는 데 큰 역할을 했습니다.

최초의 상업용 VR 게임 Virtuality

1991년, 영국의 W-Industries는 Virtuality라는 상업용 VR 게임 아케이드를 선보입니다. 이 시스템은 고글 형태의 HMD와 공간 위치 추적기를 갖추고 있어, 이용자가 3D 환경 속에서 실시간으로 움직이며 상호작용할 수 있었습니다. 이는 세계 최초의 멀티플레이어 VR 게임 시스템이었으며, 당시 기술적 한계를 감안하면 매우 선구적인 시도였습니다. 군사 기기에서 시작된 기술이, 상업용 오락 시설의 '체험형 콘텐츠'로 진화한 최초의 사례인 것이죠.

지금도 회자되는 실험작, VirtualBoy

이미지 출처 Gamebits

1990년대 중반, XR 기술은 게임 콘솔 업계에도 진출했는데, 대표적인 예가 바로 1995년 출시된 닌텐도의 VirtualBoy입니다. VirtualBoy는 휴대용 HMD 형태의 게임기로, 적색 단색 디스플레이와 기울기 센서를 통해 가상 공간을 구현하려 했지만, 화면 멀미와 기술 미완성 등의 문제로 상업적으로 실패했습니다. 그러나 이 제품들은 XR 기술을 대중에게 소개한 실험적 기기로서 의미가 있었습니다.

건축, 전시, 영화 산업으로의 확산

XR은 게임 산업 외에도 건축 시각화, 영화 특수효과, 테마파크 체험형 콘텐츠 등 다양한 분야로 확산되기 시작했습니다. 예컨대 1990년대 후반부터는 디지털 테마파크나 몰입형 4D 극장 등에서 VR 시뮬레이터가 등장하며, XR은 산업적 용도와 엔터테인먼트의 경계를 넘나들기 시작했습니다.

이 시기의 핵심은 하나. XR 기술은 더 이상 군사 장비의 전유물이 아니었다는 것이죠. 군사 기술이 민간 시장으로 나왔고, 사람들의 삶 속으로 들어가기 시작했습니다. 비록 당시 기술력은 오늘날보다 부족했지만, “현실을 넘나드는 경험”이라는 XR의 매력은 충분히 사람들을 사로잡기에 충분했습니다.

- 중략 -

처음 XR이 군대에서 태어났던 것처럼, 오늘날 XR은 다시 전장의 현실로 돌아오고 있습니다. 단순한 훈련 시뮬레이터를 넘어, XR은 병사의 눈이자 지휘관의 지도로, 그리고 생존의 수단으로 실질적 전력화 단계에 진입하고 있습니다.

이미지 출처 U.S. ARMY

대표적인 사례는 미 육군과 마이크로소프트가 2021년 체결한 219억 달러 규모의 IVAS 계약입니다. IVAS(Integrated Visual Augmentation System)는 HoloLens 2 기반의 혼합현실 장비로, 병사의 시야에 지도, 아군/적군 위치, 나침반 정보 등을 실시간 증강현실(AR) 형태로 띄워줍니다. IVAS는 또한 적외선 센서와 연동된 야간 작전 기능, 표적 식별 능력, 헬멧 HUD 통합 등 다기능 통합을 목표로 하며, 병사 한 명 한 명을 하나의 센서 네트워크 단위로 재정의합니다. 이 기술은 단순히 정보를 표시하는 수준을 넘어, 실시간 전술 네트워크의 말단 노드로서의 병사라는 개념을 가능케 하고 있습니다.

이미지 출처 Varjo

XR 기술의 전장 복귀는 단순한 보병 훈련에 국한되지 않았습니다. 우크라이나는 러시아와의 실전 전쟁 속에서, Varjo사의 고해상도 MR 헤드셋을 활용한 혼합현실 기반 전투기 훈련 시스템을 적극 도입하며 주목을 받았습니다. 해당 시스템은 실제 F-16 조종석 내부의 계기판, 스위치, 버튼 등을 물리적으로 그대로 배치하고, 외부 시야와 비행 환경은 가상현실로 제공하는 방식입니다. 훈련자는 실내에서 현실의 조작계와 상호작용하면서도, 가상의 적기 및 전장 상황을 시뮬레이션할 수 있어 비용, 안전, 반복성 면에서 기존 훈련을 대체하거나 보완하는 새로운 해법으로 주목받습니다.

한국에서도 조종사들이 특수 제작된 시뮬레이터를 활용해 훈련을 진행하는 경우가 많은데, 실제로 이를 통해 실탄 사용이나 실제 공중 훈련을 최소화하면서도 고난도 전술훈련과 위기대응 능력을 효과적으로 함양할 수 있습니다. 특히 Varjo의 HMD 등을 이용한 본격적인 XR 훈련은 유럽 및 NATO 회원국 내에서도 빠르게 확산되고 있습니다.

이미지 출처 스코넥엔터테인먼트

스코넥엔터테인먼트는 2023년 국방기술진흥연구소와 협력해, 실제 전장 상황을 가상 공간에서 복제하는 XR 기반 모의 전투 시뮬레이터를 시범 운영했습니다. 15×15미터 규모의 실내 공간에서 최대 8명이 동시에 훈련에 참여할 수 있으며, 훈련병들은 M4A1, K5 권총 등의 모형 무기를 실제로 장착한 채 작전을 수행합니다.

이 시스템은 실제 보행 움직임을 인식하는 IR 트래킹 기반 공간 지도화와, 원거리 순간이동 기능을 결합한 하이브리드 이동 시스템을 적용하여, 보다 몰입감 있는 전술 훈련을 가능하게 했습니다. 이는 기존의 VR 훈련 장비보다도 더 강도 높고 실전 중심의 훈련이 가능하게 만든다는 점에서 국내 XR 국방기술의 진일보한 사례로 평가됩니다.

👾 이번 호부터 기존의 기사 아카이빙이 새로운 형태로 여러분께 찾아뵙게 되었습니다. 필요한 정보와 이미지만 골라서 보여드리는 카드뉴스 형태의 XR 뉴스-피드입니다!