들어가기

 한번 생각해볼까요? 만약에 이 글을 보고 계시는 독자분이 산책을 하다 돌부리에 걸려 넘어졌다고 가정해봅시다. 여러분은 왜 넘어졌을까요? 여러가지 대답이 나오겠지만, 가장 많이 나오는 대답은 아마 아래와 같을 겁니다.

“돌부리를 못 봐서 넘어졌지 않았을까요?”

또 다른 이야기로, 우리가 일식을 본다고 생각해봅시다. 어떠한 종류가 되었든 개기일식이나 부분일식을 관람할 때 안과 전문의들 또는 과학 전문가들은 공통적으로 맨눈으로 태양을 보는 것은 위험하므로 반드시 태양 관측 안경이나 휴대용 태양 관측 장치를 사용해서 봐야한다고 당부합니다. 왜일까요?

“맨 눈으로 보면 망막이 화상을 입고, 영구손상이 발생하니까요!”

위에 적은 두가지 이야기는 눈을 통해서 외부를 인지하지 못한 사례, 눈을 고려해서 행동한 사례이고, 모두 이번 아티클의 핵심 키워드인 “눈” 에 대한 이야기 입니다. 사람은 태어난 순간부터 평생을 외부와 인터랙션하며 살아갑니다. 그러면 조금 더 본질적으로 들어가서 우리는 어떻게 외부의 자극을 감지할까요?

 우리는 그림 1-(a) 와 같이 외부의 자극을 인지하고, 인지 처리 장치을 통해 판단하고, 손가락 등의 입력 장치를 통해 제어하는 일련의 3가지 과정을 거칩니다. 이 과정은 자율주행에서와 동일하게 센서를 통한 외부 장애물 인지, 인공지능을 활용한 판단, 자동차 장치에 가하는 제어 3단계로 구성되어 있습니다. 그럼 오늘의 주제 눈은 어디에 사용될까요? 독자분들께서 생각하신대로 우리의 눈은 외부의 자극을 인지하는데 사용하고, 2012년 한국전자통신연구원에서 발표한 글에서는 우리는 오감으로만 외부의 자극을 인지하며 전체의 77퍼를 눈을 통해서 인지한다고 합니다[3]. 하지만, 우리의 눈은 다른 감각과의 차이가 있다면 인지만 하지 않고 XR 내에서 제어를 위해서도 사용될 수 있으면서, 우리에게 무의식적으로 표현을 한다는 것입니다.

이번 아티클에서는 전반부에는 우리의 눈이 어떻게 생겼고, XR이나 UX 상에서 어떻게 중요하게 사용되는지를 이야기해볼 것입니다. 후반부에서는 눈을 쫓기 위해서 우리는 어떠한 노력을 해왔고, 어떤 노력이 필요할지에 대한 이야기를 해보고자 합니다. 아티클을 읽기 전에 눈을 여러번 깜빡이며 예열을 시켜볼까요?

눈은 어떤 걸 보고 말해줄까?

눈의 망막에는 1㎠당 약 1,000만 개에 이르는 광수용체가 존재합니다. 우리는 어떠한 카메라보다 민감하고 정밀한 센서를 가지고 있는 셈이지요[4]. 우리의 눈이 얼마나 민감하고 정밀한지 알 수 있는 이야기입니다. 그럼 우리의 눈은 어떤 구조를 가지고 있을까요?

위 그림은 우리의 눈을 메디컬일러스트로 시각화한 그림으로, 우리의 눈은 매순간 놀라운 과정을 통해 세상을 바라봅니다. 빛이 투명한 각막을 통과하면서 여정이 시작됩니다. 각막은 빛을 굴절시키고, 이어서 동공이 들어오는 빛의 양을 조절합니다. 그 다음 수정체가 빛을 정확히 망막에 초점을 맞춥니다. 수정체는 보는 거리에 따라 두께를 변화시켜 초점을 조절합니다. 망막에서는 특수한 세포들이 빛을 전기 신호로 변환합니다. 간상세포는 어두운 곳에서의 시각을, 원추세포는 색상과 세부 사항을 담당합니다. 이 전기 신호는 시신경을 통해 뇌로 전달됩니다. 마지막으로, 뇌의 시각 피질에서 이 신호를 해석하여 우리가 보는 이미지가 완성됩니다. 특히 망막의 중심부인 황반은 고해상도 시각을 담당합니다. 이 모든 과정이 순식간에 일어나 우리는 실시간으로 주변 환경을 인식하게 됩니다. 그러면 위에서 살펴본 복잡한 구조의 우리 눈은 어떤 방식으로 세상과 이야기하고 있을까요?

우리의 눈은 XR 또는 PC 환경에서 입력 장치로 사용되며, 이와 관련해 세 가지 방식이 있습니다. 그 중 하나는 동공의 움직임을 기반으로 하는 '시선 경로 선택(Gaze Path Selection)' 기술입니다. 이 기술의 핵심은 동공 움직임을 추적하여 사용자가 바라본 곳의 정보를 저장하거나, 앞으로 시선이 향할 위치를 예측해 관련 정보를 미리 제공하는 것입니다. 대표적인 예로, 그림 3의 왼쪽에서 볼 수 있듯 특정 글자를 칠 때 움직이는 동공의 움직임을 예측해 최종적으로 입력할 단어를 미리 제안해주는 입력하는 시스템(EyeSwipe)이 개발된 바 있습니다[6]. 또한 마이크로소프트 사의 Hololens2 에서는 Dwell-based Selection이 있습니다[7]. 그림 3의 오른쪽과 같이 특정 영역을 오래 응시하게 되면 5단계의 과정을 통해서 선택을 하는데, 너무 짧게 지연 시간을 설계를 하면, 의도치 않은 선택을 하는 오류가 발생할 수 있으므로, 지연 시간을 적절하게 설정하는 것이 중요합니다. 그 이외에도 눈의 깜빡거림을 통해서 XR 내에서 선택을 하는 Blink Selection 등 여러가지 기술이 XR 내에 적용되고 있습니다.