[팩플] 메타버스의 완성기술, VR 오디오

안녕하세요, 님! ‘목요 팩플’ 인터뷰입니다.

요즘 인기인 SF 영화를 영화관에서 보려는 사람들이 많이 있죠. 눈에 보이는 영상뿐 아니라 소리나 바람 같은 4D의 경험을 즐기고 싶어서입니다.

오늘 팩플이 만난 창업자는 그중에서도 소리의 경험을 끌어올리는 기술 전문가입니다. 가우디오랩 오현오 대표가 그 주인공. 가상현실(VR)이란 기술을 구체화된 서비스로 만든 기업들이 늘어나면서 VR 사운드 기술을 개발하는 가우디오랩도 주목을 받고 있습니다. 오 대표와 가우디오랩은 그 기술에 너무 일찍 도전해 힘들기도 했다는데요. 한때 오디오 좀 들었다(!)는 정원엽 기자가 오 대표를 만나봤습니다. 오 대표의 스토리, 함께 보실까요?

2021.11.11 #166

Today's Interview

메타버스의 완성 기술, VR오디오

음악을 듣다 음이 튀거나, 영화를 보다 이상한 사운드에 몰입감이 깨진 경험이 있다면. 특정 음악을 들으면 과거 여행지가 떠오르거나, 옛 연인이 기억난다면. ‘소리의 마법'을 경험해 본 사람이다. <스타워즈>의 조지 루카스 감독은 "우리 경험의 절반 이상은 사운드에서 온다"고 했다. "오디오를 하려고 이름에 ‘오’자가 2개나 들어간 것 같다"는 오현오 가우디오랩 대표. 30년간 소리 기술과 씨름해 온 그를 지난 2일 강남구 테헤란로에 위치한 공유오피스 패스트파이브에서 만났다.

가우디오랩은 최근 몇 년간 음원 및 온라인동영상(OTT) 시장의 핵심 기술기업으로 이름을 알렸다. 업계 숙제이던 ‘튀는 소리’를 잡아주는 라우드니스 기술(Loudness Tech, 음량 정규화) 덕분이다. 가우디오랩의 라우드니스 기술은 지난해 12월 한국정보통신기술협회(TTA) 표준으로 승인되어 국내 스트리밍 플랫폼의 표준이 됐다. 해외 OTT나 음악 스트리밍 플랫폼에 기술 적용 가능성이 커졌다는 의미. 하지만 사실 라우드니스는 오 대표의 원래 목표가 아니었다. 창업(2015년) 당시 꿈꾼 가상현실(VR)에 최적화된 사운드 기술을 개발하겠다는 꿈의 발판이었을 뿐.

하지만 시장은 VR사운드보다 라우드니스부터 찾았다. 페이스북(현 메타)이 오큘러스를 인수(2014년)하는 걸 보고 “VR세상이 곧 온다”며 미국 할리우드로 향했던 스타트업은 3년만에 사실상 빈손으로 돌아왔다. 그리고 시장을 살피며 다음 스테이지를 차곡차곡 준비했다. 그런데 이제 바람이 다시 분다. '메타버스'란 바람이, 전보다 더 강하게 더 깊게.

소리 기술기업? 보통 사람들에겐 좀 낯설다.

“가우디오랩은 음향공학 박사 7명, 석사 5명 등 희귀한 오디오 전문가를 국내에서 가장 많이 데리고 있다. 뮤직 스트리밍, 극장용 스크린, 스마트폰 기술 등에 녹아 있는 우리 서비스 사용자만 약 1억 명 정도 된다. 지금도 매일 1000만 명이 우리 기술이 들어간 사운드를 듣고 있다. 동영상을 보다 갑자기 볼륨이 바뀌는 걸 막아주는 음량 정규화나 소리를 풍성하게 하는 스페이셜 오디오(Spatial Audio), 음악 장르에 맞게 음향효과를 조절하는 커스텀 이퀼라이져(EQ) 같은 기술이 네이버(NOW, VLIVE, TV, 오디오클립), 플로(Flo), 벅스(Bugs), CGV, LG 스마트폰 등에 녹아 있다."

기술을 입히면 소리가 정말 ‘달라지나’?

“자동차로 비유하면 우리의 목표는 람보르기니를 만드는 것이다. 하지만 출퇴근용이라면 경차나 람보르기니나 차이를 느끼기 어려울 것이다. 오디오 시장의 현실이 비포장도로이다보니 기술 성능을 증명하기가 쉽지 않다. 우리 솔루션으로 '귀가 더 즐거워진다'는 걸 전하고 싶었지만, 당장 OTT에 필요한 건 콘텐트 잡음이나 음량 차이를 잡는 기술이었다. 사운드 용량으로 인한 네트워크 안전성 문제도 있고. 그래서 결국은, 스포츠카는 미뤄 두고 도로공사부터 시작했다. 시장의 현실을 인정했다. 지금은 우리 기술(음량정규화)이 적용되며 '소리가 자꾸 튀어 도저히 못 들어 주겠다'는 얘기는 완전히 사라졌다.”

소리는 민감한 사람들에게 중요한 것 아닌지.

“예전엔 전축이 집안의 중심이었고, 음악을 듣는 건 가상세계(Virtual world)에 들어가는 거였다. 지금은 출퇴근하거나 공부할 때 백그라운드로 흘려 듣는 게 음악이다. 소리의 퀄리티나 무게감이 떨어진 대신 사용자 편의성이 높아졌다. 하지만 잘 생각해 보면 이미지나 냄새처럼 소리도 경험을 소환하는 일종의 쿼리(query, 정보수집을 위한 요청) 역할을 한다. 제가 아델(Adel)의 특정 음악을 들으면 캘리포니아 가족여행 장면이 저절로 떠오르듯이, 소리가 경험의 밀도와 풍성함을 키운다. 경험이 중요해 질수록, 소리의 가치도 올라갈 수 밖에 없다.”

가우디오랩은 2015년 창업 당시 소프트뱅크벤처스, 캡스톤파트너스에서 시드투자(6억원)를 받았다. 1년 후 미국에 진출할 땐 한국투자파트너스와 LB인베스트 등에서 50억원대 시리즈A 투자를 받았다. 그후 5년 만인 올해 10월 시리즈B(113억원) 투자를 유치했다. 삼성벤처투자, 네이버 D2 스타트업팩토리 등이 주요 투자자.

5년 만에 다시 투자를 받았다.

“2016년에는 VR에 대한 관심이 지금보다 훨씬 더 뜨거웠다. 시장은 커지는데 요소 기술이 부족했다. 그래서 그땐 우리가 여유가 있었다. 오디오 관련 VR 기술 기업이 국내에 거의 없었기에 당시엔 우리가 투자자를 고를 수 있을 정도였다. 그 투자금으로 당당히 미국에 갔다. 엔터테인먼트 산업의 심장인 할리우드를 잡으면 세상을 잡을 수 있겠다 싶었다. 하지만 3년만에 빈손으로 돌아왔다. 잃어버린 3년이었다. 그후 최근 3년은 다시 생존의 길을 찾은 시기였다. 이제 OTT, 메타버스 시장이 커지고 있기에 투자금으로 좋은 인재를 공격적으로 채용하려고 한다. 글로벌 시장에서 존재감을 가지려면 판을 키워야 한다.”

투자사 중 네이버와 삼성이 눈에 띈다.

“네이버와 삼성은 전략적 투자자(SI)다. 재무적 투자자(FI)에 비해 SI들은 기술 검증을 엄격히 한다. 특히 네이버는 제페토나 웹툰 같은 플랫폼에서, 삼성은 기기 시장에서 강점이 있어 우리 기술과 결합할 때 서로 시너지가 크다고 봤다. 메타버스 놀이터에서 기기와 플랫폼의 중요성도 크다는 점도 고려했다. 사운드 확장의 3대 중심 축은 플랫폼-디바이스-콘텐트인데 이제 그중 두 개의 축이 마련됐다. 앞으로는 K콘텐트에 강한 하이브(HYBE)나 CJ 같은 회사와도 협력할 기회를 찾으려 한다.”

네이버나 삼성은 왜 직접 개발하지 않고 가우디오랩의 손을 잡았을까.

“디지털에선 아주 작은 소리가 깨져도 소비자들이 민감하게 반응한다. 우리는 이걸 다 QA(검수확인) 하고 확인할 수 있는 인재를 보유했다. 대기업이 직접 소리 깨짐을 잡는 라우드니스 기술을 내재화하기보다, 라이센스로 '가우디랩'을 택하는 게 투자 측면에서 더 유리하다고 본 것 같다. 메타버스 음향의 경우 연구난이도는 높은데 아직 대중성이나 시장가치를 추정하기가 힘들다. 대기업들이 ‘소리는 가우디오랩에 맡기면 되겠구나, 메타버스에서도 가우디오랑 하면 되겠네’라고 판단하게 될 거다."

기술 뿐 아니라 인재도 투자 배경이라고?

"구글, 애플에 갈만한 오디오 인재들이 가우디오랩에 있다. ‘회사 주인은 (창업자나 투자자가 아니라) 아이디어’라는 문화로 인재들을 모았다. 일의 주인이 되고 싶은 이들이 아이디어를 내고 그걸 풀어가는 게 우리 회사의 강점이다. ‘오디오 피’가 흐르는 인재와 AI로 사운드를 혁신해 보려는 인재가 모여 시너지를 내고 있다. 또 회사를 떠나더라도 언제든 돌아올 수 있게 열어놓는 문화다. 동료가 다른 회사로 이직하면 얼럼나이(Alumni)로 임명한 후 그의 사번을 영구 결번하고 축하해 준다. (가우디의 사번은 알파벳이다. 오 대표가 O번이고, 현재 L, R 2개 사번이 영구 결번.)."

네이버 나우(Now)에 적용된 가우디오랩의 공간음향기술 스페이셜 오디오. 화면에 맞게 소리의 강략 차이 등이 조절되어 몰입감을 준다. 사진을 클릭하면, 스페이셜 오디오가 적용된 유튜브 영상으로 연결해 체험이 가능합니다. 가우디오랩 제공.

업계에서 가우디오랩은 ‘기술 좋은 건 알겠는데, 자존심이 쎄다’는 이야기를 듣는다. 지적재산권(IP)에 기반한 라이센싱 모델(파트너사에 기술 자체를 넘겨주지는 않고, 로열티를 받는 형태의 협력)을 고집하기 때문. 가우디오랩은 사운드 지적재산권만 68건을 출원(해외 59건)했고, 오디오 관련 특허도 1200건 이상을 보유하고 있다.

비지니스 모델(BM)이 궁금하다. 이젠 돈을 잘 버나?

"2018년까지 투자사나 저도 회사 매출엔 큰 관심이 없었다. 임팩트 있는 결과물을 내는 데 집중했다. 하지만 5년간 투자가 끊어져보니 매출이 정말 중요하다는 걸 깨달았다. 2020년 들어서야 흑자로 돌아섰다. 현재 돈은 라우드니스 기술이 주로 벌고 있는데, 이미 개발된 기술을 ‘복붙’(복사해 붙여넣기)해서 여러 곳에 적용할 수 있는 구조라, 중국·동남아·일본 등에 사업 기회가 많다. 이머시브(Immersive, 몰입형) 사운드같은 메타버스 기술은 당장의 매출보다는 시장이 커지는 게 우선이다. 앞으론 매출 1만원보다 데이터 1메가바이트가 중요한 세상이 될 테니, 더 좋은 사운드 데이터를 쌓고 모으는 데 주력하고 있다."

힘든 와중에도 라이센싱을 고집했다. 왜 그랬나.

“세상에 없던 기술을 시장에 가져오는 게 사업모델이다. 사실 IT업계에선 중소규모 SI(System integrator, 기술 아웃소싱업체)들이 대기업의 숙제를 대신 풀어주는 경우가 많다. SI와 대기업이 공동연구를 해도, 결과물은 다 고객사인 대기업 소유가 된다. 지속가능한 비즈니스를 만들거나 비전을 실현하기 힘들어진다. 우리는 람보르기니를 만드려고 하는데, 공임 일당을 받고 하청 처리하는 일꾼이 될 수는 없다고 생각했다. 현재 우리 협력사들도 처음엔 모두 자기 회사에만 기술을 납품하는 독점 계약을 원했지만, 우린 소프트웨어 개발킷(SDK)형태의 라이센싱 원칙을 고집했다. 기술에 자신이 있었으니까.”

B2B(기업 대 기업)에서 SDK를 강조한 것도 전략인가?

“사실 SDK는 일종의 틀과 형이다. 가우디오랩 SDK를 쓰는 고객사가 이 틀 안에 음량정규화 엔진을 넣으면 그 기능을 쓰는 거고, 공간음향엔진을 넣으면 공간 사운드가 구현되는 거다. 그런 틀을 이제 깔아 둔 거고, 앞으로 우리가 만들 메타버스 음향 기술 등 신기술을 여기에 얹을 수 있다. 가우디오랩의 사운드 기술이 수억, 수십억 기기에 적용되는 거다. 그래서 파트너사와 신뢰가 중요하다.”

가우디오랩의 다음 스텝은 어디인가.

“애플 스티브 잡스가 내놓은 아이팟 이후 음악은 스트리밍으로 넘어왔고, 이제 사운드에 남은 문제는 몇 안 된다. 그중에서 우리가 풀고자 하는 건 소리의 공간감이다. 정면에서 들리는 소리, 뒤에서 들리는 소리, 저 창밖의 공사장 소리 등 실제로는 다 다르게 들리지 않나. 사실 VR, 메타버스가 아니라면 소리의 공간화는 중요하지 않다. 있으면 좋지만 없더라도 삶에 별 영향은 없다. 하지만 메타버스에선 시공의 제약없는, 원격의 삶을 살게 된다. 여기서 실시간 교류하려면 소리가 진짜 중요하다.”

메타버스에서 소리의 공간감이 중요하다? 좀 더 구체적으로 설명한다면.

“메타버스에선 소리도 가상세계의 핵심 구성요소다. 현실인지 가상인지 구분 안 되는 상태를 구현하려면, 현실의 소리를 완벽히 모사하고 재현해야 한다. 지금은 폴리아티스트나 사운드 엔지니어가 이런 소리를 한땀한땀 만드는데, 우리는 이를 자동으로 손쉽게 재현하는 기술을 보급하고자 한다. 실시간 스트리밍되는 공연장 같은 소리를 안방에서도 느낄 수 있게 하는 게 우선이고, 다음으론 제페토 같은 가상 공간에서 소리를 입체적이고 몰입감있게 재현(Immersive sound)하는 걸 준비하고 있다. 마치 ‘그곳에 있는 듯한’(Being there) 몰입감을 전하고 싶다.”

지금은 한국표준(TTA)이 된 라우드니스 기술로 유명한데, 앞으로 뭘 더 보여줄 것인가.

“이젠 우리가 진짜 하고 싶었던 공간 음향을 할 수 있을 것 같다. 이젠 OTT업체나 하드웨어 업체가 우리 기술력을 알고, 메타버스 음향 기술에도 관심이 크다. 2015년엔 시간이 우리편이 아니었지만, 이번엔 다르다. 시장이 성숙했고 그 사이 우리도 강해졌다. 자세히 설명하긴 힘들지만 향후 제주도에 최고의 사운드스튜디오를 만들 계획이다. 해외 아티스트들이 제주에 소리 말러(녹음하러) 오고, 세상 모든 메타버스 소리가 제주도에서 만들어지는 그림, 한국이 사운드의 중심이 되는 앞날이 올 거다.”

소리의 중요성을 남들도 모르지 않을텐데, 경쟁사는 어디인가.

“국내엔 없다. 글로벌에선 돌비가 경쟁사이자 동시에 혁신의 대상이다. 최근엔 중국 기업도 빠르게 성장했다. 기술로 라이센싱 사업을 할 수 있는 막차를 탄 거 아닌가 싶을 정도로 중국의 기술 발전 속도가 빠르다. 틱톡이나 텐센트 같은 기업은 음향이나 사운드에 진심이고 실력도 있다. 다만 기회비용을 고려해 직접 안 하고 우리 같은 기술 스타트업과 논의하는 것 같다. 코로나로 논의 속도가 좀 늦어지고 있다.”

그런데 오디오가 그렇게 좋은가. 왜 여기에 인생을 걸게 됐나.

“오현오라는 이름, 오디오와 비슷하지 않나(웃음). 어릴 때부터 오디오엔 왜 혁신이 없는지 궁금했다. 디스플레이는 브라운관에서 PDP, LCD, OLED, 홀로그램까지 어마어마한 혁신이 일어나는데, 오디오에선 에디슨의 축음기 원리에서 크게 벗어나지 않는다. 돌비 중심으로 정체돼 있는 사운드 시장을 우리가 바꿀 수 있겠다는 생각에 창업했다. 특히 마침 K컬쳐가 전세계에 불고 있기에, 한국이 사운드 기술로 잘될 길이 열리지 않을까 믿고 있다.”