님, 안녕하세요! 팩플레터 박수련입니다. 🙋

나날이 후텁지근해지는 날씨, 잘 견디고 계신가요? 오늘 팩플레터는 상반기가 끝나기 전에 짚어볼만한 기술 트렌드를 들고 왔어요. 나랑 상관없는 어려운 미래 기술 얘기 아니고, 일상에서 자주 쓰는 ‘검색’에 대한 이야기입니다.  

지난 5월 열린 기술 컨퍼런스 두 개에서 ‘검색의 미래’를 엿볼 수 있었습니다. 세계인의 검색엔진 구글, 그리고 그 구글로부터 한국어 검색 시장을 지켜낸 네이버가 주최한 행사였어요. 두 기업 모두 검색엔진서 출발해 플랫폼 제국을 일궜습니다. 오늘 레터에서는 이들이 바라보는 검색의 미래를 김정민・김인경 기자가 꼼꼼히 취재하고 분석해서 전해 드립니다. 

인터넷 시대를 사는 우리에게 검색은 ‘인식의 창’이나 다름없습니다. 그런 점에서 네이버와 구글은 이미 지난 20년 이상 수십억 명의 사람들이 세상을 인식하고 판단하는 데 영향을 주고 있습니다. 앞으론 인공지능이 정보의 ‘맥락’을 이해하고, 내게 필요한 정보만 추천해주는 서비스가 늘어난다고 하니, 우리도 준비를 해야지요. 내 인식의 창에 어떤 기술이 들어가는지는 좀 알아야하지 않겠습니까~ 그런 깐깐한 마음으로 준비했습니다. 유익한 시간 보내시면 좋겠습니다. 

그리고 하나 더! 한국의 검색왕 네이버가 준비하는 미래 검색에 대해 오늘 레터 내용보다 더 자세히 알고 싶은 분들을 위해 팩플인터뷰를 준비했습니다. 이번주 목요일(23일) 아침 팩플 홈페이지에 ‘네이버가 자랑하는 6인의 검색 책임리더’와 인터뷰를 공개할 예정이니, 기대해주세요!

검색이 왜 중요해?

웹(web)의 세계에서 모든 길은 검색창으로 통한다. 구글·네이버를 빅테크로 키운 것도 팔할이 검색. 이들은 지난 20년 동안 ‘공짜 정보’의 힘으로 사용자를 끌어 모았고, 사용자들이 남긴 방대한 검색 기록 덕에 ‘21세기의 석유’로 불리는 데이터를 축적했다. 그렇게 만들어진 ‘검색의 현재’는.

• 빅테크에 검색이란: 수익의 뿌리이자 신사업 발판.
  ‘검색왕’들은 검색어·검색순위 등을 광고와 연결해 돈을 번다. 올해 1분기 실적에서 구글의 모회사 알파벳은 구글 검색·기타 매출로만 396억달러(약 51조원)를, 네이버는 서치플랫폼(검색)에서 매출 8432억원을 기록했다. 최근 ‘먹거리’ 다각화를 하긴 했지만, 검색 기반 광고는 여전히 ‘믿는 구석’. 그렇다고 돈벌이만은 아니다. 검색은 구글·네이버가 신사업으로 가는 지름길이자 발판. 끊임없이 밀려드는 검색 데이터는 누가, 언제, 어디서, 무엇을 필요로 하는지 알려준다. 이 데이터를 쥔 검색왕들은 개개인의 취향·욕구를 겨냥한 추천 서비스를 발전시킨 건 물론, 시장의 변화도 먼저 읽어냈다.

• 사용자에게 검색이란: 선택의 기준.
  검색 알고리즘이 바뀌면 상위 노출 콘텐츠가 변하고, 사용자의 선택에도 영향을 준다. 검색되지 않는다면 ‘존재하지 않는 것’이나 마찬가지. 구글·네이버가 검색 기술을 새로 발표할 때마다 ‘OO 검색 상위권에 뜨는 법’이 유행한다. 2006년에는 한 어린이 정보 사이트(KinderStart.com)가 구글의 알고리즘 변경으로 방문자 수가 70% 줄고, 매출은 80% 떨어졌다며 구글을 고소했다지만, 16년이 지난 지금은 ‘알고리즘의 선택’을 갈구하는 이들이 넘친다.

• ‘나’와 알고리즘 사이
  검색어는 내가 입력하지만, 어떤 정보를 어떻게 보여줄지는 검색 알고리즘이 정한다. 원용진 서강대 커뮤니케이션학과 교수는 저서 ‘메가플랫폼 네이버’에서 “이미 플랫폼 사업자와 이용자 간에 비대칭적 권력 관계가 형성돼 있다”며 “알고리즘을 통해 정보의 내용과 유통 방식이 플랫폼 사업자에 유리하게 구성되고 있음은 이용자 차원에서 문제 제기를 해야 한다”고 지적하기도.

검색왕들의 이심전심

② 개인화: 우린 네 데이터가 많거든

검색 서비스의 목적은 사용자 의도에 딱! 맞는 결과를 제공하는 것. 물론 개개인의 관심사, 구매 이력, 위치, 성·연령 등 그만한 사용자 데이터와 분석 기술이 있을 때의 얘기다.

지난해 네이버는 16년 만에 ‘실시간 급상승 검색어’를 완전히 폐지했는데, “요즘 소비자들은 관심과 취향에 따라 세분화된 정보를 원한다”는 이유였다. 이후 선보인 에어서치(AiRSearch)는 사용자별 검색 의도를 읽고 그에 맞는 정보 묶음 ‘스마트 블록’을 노출하는 개인화된 검색 서비스.

일찍이 구글 애드센스, 유튜브 알고리즘 등으로 사용자 맞춤형 추천을 선보여온 구글도 개인화 검색 의지를 분명히 했다. 올해 I/O에서 공개한 ‘멀티서치 니어 미(multisearch near me)’는 검색어 뒤에 ‘near me’를 붙이면 내 주변 상점 정보 등을 제공한다.

③ 오프라인: 온라인은 정복했으니까

오프라인 장소 기반의 검색은 쇼핑·광고 등 핵심 서비스로의 사용자 유입과 체류시간을 늘리는 매출 일등공신이다. 그래서 구글과 네이버에서 검색 조직과 지도 조직은 떼려야 뗄 수 없는 사이.

구글은 ‘멀티서치 니어 미’ 외에도 검색만으로 식당 내부까지 들여다볼 수 있는 ‘이머시브 뷰(immersive view)’를 공개했다. 드론으로 일일이 내부를 촬영하지 않아도, 그동안 쌓인 수백 만개 항공·거리 뷰 등을 조합(렌더링)해 실감나는 실내 구경을 지원한다. 미리엄 다니엘 구글 지도 부사장은 팩플팀에 “각국 주요 도시는 AI를 활용해 이머시브 뷰를 구현할 예정”이라고 밝혔다.

구글이 ‘재현’에 진심이라면, 네이버는 ‘연결’에 진심. 에어서치의 AI 장소 추천 엔진 ‘에어스페이스(AirSPACE)’는 사용자와 디지털 상공인(SME)을 연결하는 검색이다. 사용자 위치와 검색 의도를 분석해 최적의 장소를 추천하는 데 집중한다. 최지훈 네이버 로컬 검색 책임리더는 팩플팀에 “올해는 다양한 크로스 도메인 및 멀티모달 기반의 취향 분석, 강화 학습 기반의 실시간 추천 기술을 서비스에 적용할 계획”이라고 밝혔다. 

🔎 검색의 진화

구글과 네이버의 검색 기술 변천사를 보면 지난 20여 년간 검색이 어떻게 진화했는지 알 수 있다. 구글은 ‘사용자의 검색 방법’에, 네이버는 ‘사용자가 놓인 검색 환경’에 주목해 기술 변화를 설명한다는 것도 재밌는 차이.

“구글은 설립 당시 텍스트 기반 쿼리(요청)를 이해하는 방식을 혁신했습니다. 자연어에 투자한 덕분에 수수께끼 같은 쿼리에도 답할 수 있을 정도로 검색 기능이 향상됐죠. 하지만 대부분 질문은 손으로 입력하는 것보다 말하는 게 쉽기에 10여년 전 음성 검색을 도입했습니다. (중략) 하지만 눈으로 보는 게 가장 이해가 빠른 법이죠. 그래서 카메라에 보이는 장면을 검색창에 바로 검색할 수 있는 구글 렌즈로 다시 한번 구글 검색을 혁신했습니다. 작년에는 이 모든 걸 합친 멀티 검색을 출시했습니다. 구글 앱에서 사진을 찍는 동시에 질문을 하면 검색이 가능합니다.”

– 프라바카르 라하반 구글 서치 총괄, 구글 I/O 2022에서

“네이버가 검색 서비스를 시작한 1999년엔 대부분 제휴 뉴스나 웹 사이트들이 검색 결과를 구성했습니다. 그러나 사용자가 진짜 원하는 정보는 당시 웹 상에 없는 경우가 많았고, 이에 네이버는 지식인·블로그·카페 등 콘텐츠 생산 서비스를 만들어 세계 최초로 통합 검색을 개발했습니다. 2009년 스마트폰 시대가 열렸을 때도 상황은 녹록지 않았는데요. 스마트폰 기본 검색 엔진이 네이버가 아닌 상황에서, 네이버는 모바일 퍼스트 전략으로 모든 검색 결과를 모바일에 최적화해 국내 검색 1등을 지켜냈습니다. 2016년에는 이세돌과 대결한 알파고 등 AI 열풍이 불기 시작했는데요. 네이버는 다양한 AI 기술을 활용해 스마트스토어, 스마트플레이스, 인플루언서 검색 등 소상공인과 창작자들을 위한 생태계를 구축했습니다. 2021년에는 세분화·다변화하는 사용자 요구에 맞춰 맞춤형 결과를 제공하는 에어서치를 선보였습니다.” 

– 최재호 에어서치 책임리더, 네이버 검색 콜로키움 2022에서

구글 검색의 미래: 더 쉽게, 더 편하게, 더 깊게

구글에게 검색이란, ‘전세계의 정보를 체계화해 누구나 유용하게 이용할 수 있도록 하는 것’. 이 문장을 의미 그대로 실현하려면 “정보에 대한 접근성을 극대화”해야 한다는 게 구글의 생각이다. 그래서 구글은 사용자가 가장 쉽고 편하게 검색할 수 있는 방법에 주목해왔다. 지난 20년 동안 텍스트·음성·이미지·영상 등으로 검색의 울타리를 넓혀온 이유다.

• 구글’s 검색의 미래: 사용자가 뭐라 말하든, 찰떡같이 알아듣고 답을 찾아주는 게 구글이 내다보는 검색의 미래. 지난 5월 구글 I/O에서 프라바카르 라하반 구글 서치 총괄은 “보고, 듣고, 경험할 수 있는 모든 것에 대한 정보를 가장 직관적인 방법으로 찾을 수 있게 하는 것이 우리가 생각하는 검색의 미래”라고 말했다. 순다 피차이 구글 최고경영자(CEO)도 “언제나 사람이 컴퓨터에 적응하는 방식보다는, 컴퓨터가 사람에게 맞춰야 한다고 생각해왔다”고 강조했다.

• 멀티 플레이어: 직관적인 검색이 가능하려면, 일단 ‘멀티’가 가능해야 하는 법. 구글은 지난해 I/O에서 멀티모달 AI 모델 ‘멈(MUM·Multitask Unified Model)’을 공개했다. 사진·텍스트·음성·영상 중 어떤 방식으로 질문하더라도, 멈은 사람인양 문맥을 이해한다. 예를 들어 등산화 사진을 첨부하고 “등산할 때 이 신발 신어도 돼?”라고 질문해도 답을 준다. “지난번엔 미국 아담스산에 갔는데 이번 가을에 일본 후지산 가려면 어떻게 준비해야 돼?”란 복잡한 질문을 던져도 의도를 파악하고 두 산의 등산로·고도·기온 등을 비교해 알려준다. 멈은 각 언어로 흩어져 있던 ‘정보 조각’을 모아 검색결과로 제공할 계획. 구글은 멈이 현재 수많은 AI의 언어모델이 된 ‘버트(BERT, 구글이 2019년 출시)’보다 자연어 이해 성능이 1000배 좋다고 밝혔다.

• 말하지 않아도 알아요: 올해 구글이 공개한 멈 기반의 ‘멀티서치(Multisearch)’도 직관적인 검색의 연장선에 있다. 기존 구글 렌즈는 음식 등을 카메라로 찍으면 연관 정보를 추천하는 데 그쳤다면, 멀티서치는 언어를 얹어 정확도를 높였다. 이젠 ‘줄무늬 바지’ 사진을 올리고, ‘이런 양말’이라고 검색해도 ‘줄무늬 양말’을 찾을 수 있다는 것. 어느 식당 음식인지 몰라도 사진 찍어 ‘인근 지역(near me)’을 검색하면 판매하는 식당을 알려준다. 구글이 개발 중인 ‘장면 탐색(Scene exploration)’은 한 발 더 나간다. 서점·마트 등에서 카메라로 진열대를 찍으면 구글이 각각의 제품을 동시에 인식해, 정보만 ‘쏙’ 알려준다. 어떤 제품에 리뷰가 많이 달렸는지, 견과류는 들었는지 일일이 검색하지 않아도 된다는 것.

• 무엇이든 물어보세요: 구글은 ‘대화형 검색’도 개발 중. 작년에는 AI 언어모델 ‘람다(LaMDA)’를 선보였다. 람다는 주제 무관, 어떤 대화든 가능하다. 추상적인 질문에도 답을 하고, 종이비행기·명왕성 등 온갖 사물에 빙의한 상태로도 말한다. 올해 공개된 ‘람다2’는 문답 이상의 깊이 있는 대화가 될 정도로 진화했다. 시연에서 “내가 깊은 바닷속에 있다고 상상해봐”라고 말을 걸자, 람다2는 지구에서 가장 깊은 마리아나 해구에서 보고 느낄 수 있는 것들을 나열하기도.

• 더 똑똑한 AI의 등장: 구글 검색의 ‘두뇌’는 조만간 더 똑똑해질 예정. 이번 I/O에서 구글은 수학문제를 풀고, 농담을 설명할 수 있는 초거대 AI, PaLM(Pathways Language Model)를 공개했다. 파라미터의 규모는 5400억 개. 사고의 흐름이 꼬리에 꼬리를 물고 이어지도록 하는 ‘생각의 연결고리 프롬프팅(chain-of-thought prompting)’이란 훈련방식을 적용해, 드라마틱한 성능 개선을 이루고 있다는 게 구글의 설명이다.

“네이버에게 검색이란 알파와 오메가다.” (최재호 네이버 에어서치 책임리더) 네이버는 지식iN·블로그·카페 등 다양한 사용자 제작 콘텐츠(UGC)와 검색 기술을 결합해 “사용자가 만족할 만한 검색 결과를 제공한 게 글로벌 빅테크들과 경쟁할 수 있었던 이유”라고 본다.

• 네이버’s 검색의 미래: 네이버 서치 CIC는 사용자 중심 사고를 강조한다. 개발자 아닌 사용자 입장에서 생각하자는 것. 최재호 책임리더는 “전체 검색 트래픽에서 다양한 정보(탐색형)와 관심 정보(반응형)를 찾는 비중이 약 65%로 확실한 답을 찾는 비중(정답형, 30%)보다 높다”고 말했다. 네이버가 보는 검색의 미래는 정답보단 발견을 도와주는 것.

• 키워드에서 관심사로: AI가 문서·웹페이지의 맥락을 파악할 수 있을 정도로 똑똑해지면서, 키워드 기반 노출 방식은 저물고 있다. 네이버 에어서치는 AI가 개인의 검색 의도에 따라 정답형, 탐색형, 반응형, 발견형 4가지 ‘스마트 블록’을 제공한다. 기존 ‘통합검색’에서 사용자가 직접 지식iN, VIEW, 이미지, 동영상, 뉴스, 쇼핑 등 카테고리를 넘나들며 원하는 정보를 찾아야 했다면, 에어서치는 이를 AI가 자동으로 묶어 보여준다. 예컨대 ‘캠핑’으로 검색을 시작한 사용자는 ‘캠핑 준비물 리스트’, ‘초보 캠핑’, ‘캠핑 장비’, ‘차박 용품’ 등의 주제로 구성된 스마트 블록에서 콘텐츠를 탐색할 수 있다. 현재 스마트 블록의 일 평균 노출량은 약 3300만건. 2024년까지 기존 ‘통합검색’을 ‘에어서치’로 100% 전환하는 게 목표.

• 티라노와 대화하기: 정답 찾기보단 생생한 티키타카에 중점을 둔 ‘대화형 검색’으로 진화 중. 올해 3월 출시된 ‘지식 인터랙티브’가 그 예. 3D로 구현된 화면 속 티라노사우르스에게 “키는 얼마나 커?” “팔은 왜 짧아졌어?” 물으면 티라노가 답한다. 5600억 개의 한국어 데이터를 학습한 초대규모 AI ‘하이퍼클로바’가 두뇌. 3D AR 기반 대화형 지식 검색을 선보인 건 네이버가 최초다.

• 쇼핑 최적화, 옴니서치: 멀티모달 AI는 ‘네이버쇼핑’과 딱 붙여 키울 계획. 올해 4월 스니커즈부터 적용된 ‘옴니서치’는 향후 패션·음식·식물·장소 등으로 카테고리를 넓힐 예정. 강유훈 네이버 멀티모달 검색 책임리더는 “멀티모달 AI 개발은 AI 모델, 학습 데이터, 컴퓨팅 인프라 3가지가 갖춰져야 하는데, 진짜 경쟁력은 데이터”라며 “네이버는 블로그, 지식iN, 웹툰, 쇼핑 등 이미지와 텍스트를 동시에 담은 양질의 멀티모달 콘텐츠를 보유하고 있고 방대한 데이터를 다루는 노하우가 있다”고 말했다.

• 더 넓고 깊은 개인화, OCEAN: 네이버는 지난해 9월 미국에 네이버서치US(NSU)를 설립하고 ‘드림팀’을 꾸렸다. 아마존 알렉사 개발총괄 출신 김용범 책임리더 등을 영입한 것. 여기서 개발 중인 AI 모델 ‘오션(OCEAN)’은 지도, 쇼핑, UGC, 페이, 멤버십 등 네이버의 모든 서비스를 잇는다. 김용범 책임리더는 “AI가 네이버 서비스 전반에서 만들어진 사용자의 검색 기록과 행동 패턴을 학습해 최적의 검색 경로를 찾아주는 AI 모델이 오션”이라며 “등산 고수에겐 위험하고 힘들지만 짧은 경로를, 등산 초보에겐 천천히 안전하게 올라가는 경로를 추천하듯 목적 달성 과정에 집중한다”고 설명했다. NSU는 현재 오션 기반 차세대 검색 서비스 ‘유니버설 어드바이저’를 개발 중.

① 그런데, 검색 결과 공정해?

기술 발전 좋긴 한데, 검색 결과 공정성과 편향성은 누가 챙기나. 반복되는 이 논란, 구글과 네이버도 모르지 않는다. 외부 평가자가 진행하는 검색 품질 연구에 투자하는 배경이다.

• 김진영 네이버 서치 데이터&애널리틱스 책임리더는 “지난해 와세다 대학 사카이 테츠야 교수와 공정성 개선의 잣대가 될 수 있는 평가 지표를 개발해 논문으로 발표했다”고 소개했다. 이어서 “예를 들어, 남성:여성, 그리고 한국:외국 아티스트의 검색 결과가 각각 1:1로 나오는 결과를 공정하다고 정의하면, 실제 검색 결과가 이상적인 결과와 얼마나 차이 나는지 수치화하는 지표”라고 설명했다.
• 구글은 콘텐츠의 전문성, 권위성, 신뢰성을 바탕으로 결과의 품질을 평가하는 테스트를 2020년 한 해 동안 38만회 진행했다고 밝혔다. 그러나 무엇을 공정하다고 정의할지는 결국 연구자와 개발자에게 달려있다는 한계도.

② 메타버스 시대가 오면 

구글과 네이버가 모두 개발 중인 멀티모달 AI, 3D 증강현실(AR)로 구현한 동물·사물, 대화형 검색 등이 함께 가리키는 곳은 메타버스다.

• 최재호 네이버 책임리더는 “메타버스가 게임 속 가상공간이 아닌, 일상 공간으로 보편화되는 순간이 오면 메타버스에서 생성된 콘텐츠나 사용자들 간 대화 내용을 손쉽게 검색할 수 있는 기술이 실제 소비자에게 효용을 줄 것”이라며 “네이버 검색이 옴니서치 같은 멀티모달 검색, 지식 인터랙티브 같은 AR 3D 기반의 대화형 모델에 계속 투자하는 이유”라고 설명했다.