2020년 코로나19의 영향으로 메타버스 산업이 빠르게 성장하면서 페이스북은 ‘메타(Meta)’로 사명을 변경하고 메타버스 생태계 구축에 집중하기 시작했습니다. 또한, 메타버스 가상 부동산 투자 열풍이 일기도 했으며, 메타버스 상에서 패션쇼를 개최하는 등 명품 브랜드의 관심이 고조되었습니다. 이에 힘입어 메타버스 시장 규모는 2030년 5조 달러로 성장할 것으로 전망되었으며, 2022년에는 빅테크 기업을 중심으로 메타버스 산업 성장 촉진을 위한 ‘메타버스 표준 포럼’을 창설했습니다. 다들 잘 알고 계시는 ‘메타버스’의 흐름이죠.

인하대학교병원 건강증진센터 ZEP (출처 : 인하대학교병원)

이 흐름에 맞춰서 2023년 2월 조선대학교병원에서는 ZEP을 사용해서 가상 공간에 실제와 똑같은 공간을 만들어서 병원 시설 이용 및 교통을 안내하고 역사관·미술관 등 정보를 게시할 수 있게 제작했습니다. 또한, 2023년 첫날부터 인하대학교병원에서는 건강증진센터 및 희귀유전질환센터를 체험할 수 있는 공간을 구현해서 사용자들에게 병원에 대한 소개를 할 수 있게 제작했습니다. 하지만, 앞에 소개한 이 둘과 같이 초기에 나왔던 대부분의 병원 메타버스는 서로 소통하는 것보다는 체험자 혼자서 돌아다니는 것에 한정되어있어 실시간으로 소통하는 것은 어렵습니다. 2년이 지난 지금, 어떻게 가상 병원이 나오고 있을까요?

중국 칭화대학교에서 제작한 에이전트 병원 개략도 (출처 : 칭화대학교)

2024년 5월, 칭화대학교 연구팀은 온라인에서 전체 진료 과정을 시뮬레이션하는 가상 병원인 ‘에이전트 병원’ Agent Hospital 을 구축했습니다. 일주일간 14명의 AI 의사와 4명의 AI 간호사가 가상 환자(Virtual Patient) 에게 발병부터 치료, 퇴원 후 다음 방문까지 전 과정의 서비스를 제공했고, 시뮬레이션 결과, 에이전트 병원은 며칠 만에 수만 건의 사례에 대한 진단 서비스를 수행하며 의사가 현실에서 2년이 걸리는 업무량을 단기간에 완료한것으로 밝혀졌습니다. 현재는 42개 AI 전문의·4개 AI 간호사 구성, 21개 진료과 시뮬레이션이 가능하고 올해 초부터 공개 파일럿 테스트를 진행 중입니다.

위 두 사례의 가장 큰 차이는 무엇일까요? (1) 실시간 멀티-에이전트 상호작용과 (2) 동적인 가상 환자 생태계를 통해 의료 AI 학습·평가가 이루어지는 완전한 임상 시뮬레이터로 발전해가고 있다는 것입니다. 이번 아티클에서는 새롭게 연구주제로 떠오르고 있는 가상 환자라는 것에 대한 이야기를 꺼내보고자 합니다.

시뮬레이션 환자 역할을 하는 배우(우)와 그를 대상으로 실습하는 학생(좌) (출처 : 캘리포니아건강과학대학)

가상 환자는 1960년대 의과대학에서 학생들을 대상으로 실습 교육을 하기 위해서 시작된 시뮬레이션 환자(Simulated Patient)에서 처음 시작되었다고 볼 수 있습니다. 시뮬레이션 환자의 경우 훈련된 인간 배우가 실제 환자처럼 행동하여 의료 교육 및 평가에 사용되는 환자 역할 수행자로 정의하며, 실제 사람(성인 배우)이 환자 역할을 수행하며, 고정된 시나리오나 반복 훈련을 통해서 됩니다. 이렇게 훈련된 환자는 평가/시험 환경 내에서 케이스, 의사소통 훈련을 할 때 주로 사용되지만, 실제로 제작하는 데 몇 개월 이상이 소요되고 배우에게 일정 금액을 지원해야 하는 등 시간과 비용이 많이 소모되는 단점이 발생했습니다. 하지만, 인간 중심 몰입형 교육의 출발점이라는 점에서 의의를 가지고 있습니다. 아래 콜아웃은 에딘버러 대학교에서 공개한 시뮬레이션 환자 프로그램의 환자 역할을 공유했습니다.

1. 당신은 54세이며 사무직 종사자입니다.

2. 지난 2개월 동안 걸을 때 양쪽 종아리와 엉덩이에 불편함이나 통증을 느끼고 있습니다.

2-1. 통증은 약 100야드를 걸을 때 발생하지만, 서두르거나 계단을 오를 때는 더 빨리 나타납니다.

2-2. 발이 자주 차갑게 느껴지며, 날씨가 따뜻해도 발에 열이 잘 전달되지 않는다고 느낍니다.

3. 하루에 20개비의 담배를 피웁니다. 고혈압이 있습니다. 그 외 건강 상태는 좋습니다.

4. 호흡 곤란, 가슴 통증, 발목 부기, 심장 박동 이상 등은 없습니다.

5. 가족 중 질병이나 심장 질환 병력은 없습니다. 관절에 문제가 없습니다.

(출처 : 에딘버러 대학교 Simulated Patient Programme Guideline)

그 이후 1980년대에 OSCE (Objective Structured Clinical Examination) 의 교육 및 평가 목적을 높이기 위해 시뮬레이션 환자를 “표준화” 한 표준화 환자(Standardized Patient) 가 등장했습니다. 시뮬레이션 환자와 다르게, 동일한 임상 시나리오에서 여러 학습자 주로 의대생에게 일관된 방식으로 행동하도록 표준화된 환자 역할을 수행하는 사람으로 정의를 하고, OSCE 에 더 초점을 맞춘 환자의 역할을 진행합니다. 이전과 동일한 문제는 발생하나 시험 및 교육의 목적에서 평가를 하는데 있어 더 용이하다는 장점을 보유하고 있습니다.

2000년대 부터는 본격적으로 컴퓨터를 활용한 가상 환자(Virtual Patient) 가 등장하기 시작합니다. 가상 환자는 컴퓨터 기반 환경에서 사용자가 환자 역할과 상호작용하는 시뮬레이션 시스템으로 화면 기반, 텍스트 또는 선택지 인터페이스, 다양한 의료 시나리오 재현 가능 등이 가능하다는 특징을 가지고 있습니다. 가상 환자의 등장으로 인해 기존 사람이 연기하던 환자 대비 반복적인 훈련을 할 수 있게 되었고, 시간과 비용을 절약하면서 디지털화가 되었다는 장점이 있습니다. 하지만, 지금까지는 텍스트 기반의 컴퓨터 시뮬레이션이기 때문에 기존 환자 대비 몰입이 아직까지는 떨어진다는 단점이 있었습니다.

Shadow Health에서 제작한 Digital Clinical Experiences™  (출처 : Elsevier)

이를 해결하기 위해 2010년대부터 3D / VR 등을 활용하기 시작하는 가상 시뮬레이션 환자(Virtual Simulated Patient) 가 등장합니다. 기존 대비, 그래픽 기술이 발달함에 따라서 본격적인 대화 / 이미지를 동시에 결합한 시뮬레이션이 등장하기 시작합니다. 이번 아티클에서 간단하게 소개하고자 하는 프로그램은 Shadow Health - "Digital Clinical Experiences™"(DCE) 입니다. 이 프로그램을 통해 웹 기반 임상 학습 환경을 제공하며, 디지털 표준화 환자(Digital Standardized Patient) 와 협력해 환자 검진 및 실습 문서 작성 가상 시뮬레이션에 참여하는 형태로 진행됩니다. 이 프로그램을 통해 의과대학 학생들에게 몰입감을 선사하며 본인의 실습 문서 결과과 전문가의 기록과 대조해봄으로써, 피드백을 받아볼 수 있게 됩니다. 드렉셀 대학교의 한 보건 전공 교수는 "섀도우 헬스를 진정으로 특별하게 만드는 것은 Tina (위 Shadow Health의 주요 DSP 캐릭터)가 실제 환자처럼 행동하여 진료 학생이 자신을 어떻게 대하고, 어떻게 접근하고, 어떤 질문을 하는지에 반응한다는 점입니다.” 라고 이야기를 합니다.

LLM 환자와 LLM 교육자와 대화 후 평가 (출처 : JMIR Nursing)

현재는 LLM 을 기반으로 한 자연어 대화형 가상 환자(Conversational Virtual Patient) 에 대한 연구가 활발하게 진행되고 있습니다. 특히 그림 4와 같이 멀티 에이전트 시스템에 맞춰 LLM 환자, 의료진의 대화를 생성하고 평가하는 시스템도 나오고 있습니다. 이에 따라서 대화형 가상 환자를 잘 작성하기 위한 프롬프트 엔지니어링, 서론에서 언급한 것 처럼 의료 에이전트와 연계해서 AI 의사의 진단률을 높여주는 등 새롭게 연구들이 진행되고 있고, 이와 관련된 이야기는 아래 세션에서 자세하게 설명하고자 합니다.

🔦 지상파, 대선 개표방송 '기술 전쟁'… AI부터 XR까지 총동원

SBS와 함께 개표방송을 진행한 NP XR 스튜디오 (이미지 출처 SBS)

제 21대 대통령 선거를 앞두고 지상파 3사가 AI,AR,XR기술을 활용해 개표방송 시청률 경쟁에 나섰습니다. KBS는 이번 대선 방송에서 후보차 득표 현황 그래픽, 타이틀, 출구조사 카운트 다운 영상에 AI를 접목했습니다. 서울 석촌호수에 설치된 구형 LED 디스플레이를 통해 선보이는 ‘K-스피어’는 AR과 미디어 아트를 결합해 후보자 정보와 득표율을 입체적으로 시각화하기도 했습니다. SBS는 XR 기반 토크쇼 ‘썰통령’을 기획해, 가상의 대통령 집무실 등 다양한 공간을 실시간으로 구현하며 생생한 현장감을 전달하는 방송을 선보였습니다. XR 스튜디오는 언리얼 엔진을 활용해 다양한 가상 공간을 실시간으로 연출하며, 국내 지상파 라이브 토크쇼에 최초로 적용되었습니다.

🤝 메타가 8년 전 해고한 VR 개발자와 다시 손잡은 까닭

팔머 럭키 안두릴 창업자와 마크 저커버그 메타 CEO (이미지 출처 팔머 럭키 Facebook)

메타가 과거 메타에서 해고된 VR 개발자가 창립한 방산 기술 스타트업 안두릴과의 미군용 XR 장비 개발을 위한 파트너십을 체결했습니다. 이들은 전투 현장에서 군인들에게 향상된 인지 능력을 제공하고 드론 등 자율 플랫폼을 직관적으로 제어할 수 있도록 해주는 통합 확장현실 제품군을 설계, 제작, 배치하기 위해 협력하고 있다고 설명했으며, 이미 이글아이EagleEye라는 프로젝트의 일환으로 첨단 헬멧을 개발 중임을 밝혔습니다. 이글아이 시스템은 병사들의 청각과 시작 능력을 강화하는 센서를 탑재해 날아오는 드론을 탐지하거나 은폐된 목표물을 포착할 수 있도록 합니다.

👓 AR 안경의 판을 바꾸다···POSTECH, '더 가볍고, 더 얇게'

기존보다 훨씬 얇고 가벼운 AR 안경 구현이 가능한 '무색수차 메타격자' 기술 (이미지 출처 POSTECH)

포스텍POSTECH 노준석 교수 연구팀이 얇고 가벼운 AR 안경을 가능하게 하는 '무색수차 메타격자' 기술을 개발해 주목받고 있습니다. 기존 AR 안경은 색수차 문제로 인해 빨강, 초록, 파랑 빛을 따로 처리해야 해 안경이 두껍고 무거웠지만, 이번 기술은 단일층(500μm)으로 모든 색상을 한 번에 처리할 수 있어 이러한 한계를 극복했습니다. 핵심은 질화실리콘 기반의 나노 구조 설계와 위상 최적화 알고리즘으로, 이를 통해 선명한 컬러 이미지와 9mm의 넓은 아이박스를 구현했습니다. 이 기술은 색 번짐 없이 밝기와 색 균일성도 우수해 차세대 AR 디스플레이 상용화에 크게 기여할 전망입니다.