AI 답변은 왜 매번 달라질까?

ChatGPT 답변에 우리 브랜드가 있었는데 다음에 다시 물어봤을 땐 나오지 않는 경험, 혹시 있으신가요? 같은 질문(프롬프트)인데도 AI 답변은 왜 이렇게 달라지는 걸까요? 그리고 답이 달라진다면 무엇을 기준으로 노출을 판단해야 할까요? 이번 콘텐츠에서는 AI 답변이 달라지는 이유와 반복 기록한 결과로 브랜드 노출을 판단하는 방법을 알아 보려고 합니다.

AI 답변이 달라지는 이유는 크게 세 가지입니다. 답변을 확률적으로 생성하고, 웹 검색 과정에서 질문을 하나 이상의 검색어로 바꿔 탐색하기 때문입니다. 여기에 이전 대화와 메모리 같은 개인화 정보가 반영되면, 같은 질문도 사람마다 다른 답변으로 이어질 수 있습니다.

① 답변의 확률적인 생성 방식

AI 언어 모델(LLM)은 앞의 내용으로 다음에 올 토큰(텍스트를 처리하는 단위)를 예측하며 답변을 생성합니다. 이때 가능한 답변이 하나로 정해져 있지 않아, 같은 질문에도 서로 다른 답변이 나올 수 있습니다.¹ 예를 들어 "월 3만 원대로 렌탈할 수 있는 정수기 추천해줘"라고 물어도, 매번 같은 제품을 같은 순서로 소개하지는 않을 수 있습니다. 질문이 같다고 답변까지 고정되는 것은 아닙니다.

② 질문을 하나 이상의 검색어로 확장해서 탐색

웹 검색을 할 때 ChatGPT는 질문을 하나 이상의 검색어로 바꿉니다. 처음 찾은 결과를 바탕으로 더 구체적인 검색어로 추가 검색을 하기도 합니다.² 같은 정수기 추천 질문도 어떤 검색어로 어떤 자료를 찾느냐에 따라 참고하는 정보가 달라질 수 있습니다. 그 결과 답변에서 강조하는 제품의 특징이나 추천 목록, 연결하는 출처에도 차이가 생길 수 있습니다.

③ 이전 대화와 개인화 정보의 반영

질문하는 사람의 이전 대화와 저장된 정보도 답변에 영향을 줄 수 있습니다. ChatGPT는 현재 대화의 맥락을 참고하고, 메모리가 켜져 있으면 저장된 정보를 검색어에 반영하거나 답변을 개인화하는 데 활용할 수 있습니다.²ʻ³

따라서 같은 정수기 추천 질문을 하더라도, 앞서 전달한 생활 조건이나 제품 선호에 따라 답변이 달라질 수 있습니다. 담당자 계정에서 본 추천 결과가 고객에게도 그대로 보인다고 단정하기 어려운 이유입니다.

그래서 브랜드 노출을 확인할 때는 한 번의 답변으로 결론을 내리기보다, 같은 조건에서 여러 번 확인한 결과를 봐야 합니다. 타깃 고객의 조건을 질문에 담고, 대화 이력, 메모리, 검색 사용 여부 등 측정 조건도 일정하게 관리해야 합니다. 다만 이렇게 얻은 결과도 실제 고객의 개인화 환경을 그대로 재현한 것은 아니라는 점을 염두에 둬야 합니다.

브랜드 노출은 ① 답변에 어떤 방식으로 나타났는지, ② 여러 번 확인했을 때 얼마나 자주 나타나는지, ③ 어떤 고객을 가정한 질문과 AI 플랫폼에서 확인했는지를 함께 봐야 판단할 수 있습니다.

① 브랜드 노출과 자사 출처 인용을 나눠보세요

답변에 우리 브랜드가 등장해도, 근거로 연결된 출처는 외부 리뷰일 수 있습니다. 브랜드가 언급됐는지와 자사 공식 페이지가 출처로 제시됐는지는 구분해 기록하는 것이 좋습니다.

브랜드가 언급됐는지, 자사 공식 페이지가 출처로 연결됐는지를 나눠 확인하면 노출 양상을 파악하는 데 도움이 됩니다. 외부 리뷰가 인용됐다면 해당 링크도 함께 남겨, AI가 우리 브랜드를 설명할 때 어떤 정보를 참고하는지 살펴보세요.

② 얼마나 자주 노출되는지 확인하세요

한 번 등장했는지보다, 같은 질문을 여러 번 확인했을 때 얼마나 자주 등장하는지를 살펴보세요. 추천 목록이 매번 달라져도, 그 안에서 꾸준히 등장하는 브랜드는 있을 수 있습니다.

SparkToro의 조사에서는 ChatGPT에 특정 지역의 암 치료 병원을 추천해 달라고 물었을 때, 한 병원이 71개 답변 중 69개에 등장했습니다. 조사 저자는 이처럼 여러 답변에서 브랜드가 등장하는 비율을 노출 지표로 활용할 가능성을 제시했습니다.⁴

우리 브랜드도 확인한 답변 중 얼마나 자주 등장했는지 살펴보면, 한 번의 답변만 볼 때보다 노출 양상을 파악하는 데 도움이 될 수 있습니다.

③ 어떤 고객과 AI 플랫폼에서 확인했는지 함께 보세요

고객이 질문에 담은 조건에 따라 추천 결과도 달라질 수 있습니다. 같은 정수기를 찾더라도 필터를 직접 교체하려는 1인 가구와 방문 관리를 원하는 4인 가족이 원하는 제품은 다를 수 있습니다.타깃 고객의 조건을 질문에 담아 확인하면, 어떤 고객의 요구에서 우리 브랜드가 잘 드러나는지 살펴볼 수 있습니다.

플랫폼별 결과도 나눠보는 것이 좋습니다. 네이버 AI 탭과 ChatGPT는 정보를 찾고 답변을 구성하는 방식이 달라, 같은 질문에도 서로 다른 브랜드와 출처를 제시할 수 있기 때문입니다.

확인하고 싶은 고객 질문을 정했다면, 같은 문구로 여러 번 물어보며 결과를 기록해 보세요. 이때 플랫폼과 대화 이력, 메모리 사용 여부 등 주요 조건을 일정하게 유지하면 결과를 비교하는 데 도움이 됩니다. 여러 플랫폼을 확인한다면 결과도 플랫폼별로 나눠보세요.

그렇다면 몇 번 확인하면 좋을까요? 장크트갈렌대학교 연구진은 네 가지 AI 검색 서비스의 반복 응답을 분석해, 브랜드 노출은 질문당 하루 최소 7회, 인용 출처까지 살펴보려면 최소 8회 확인할 것을 제안했습니다.⁵ 이를 참고해 같은 질문을 10회 정도 반복하며 브랜드와 출처가 얼마나 자주 등장하는지 기록해 보세요. 한 번의 답변만 볼 때보다 꾸준히 등장하는 브랜드와 반복해서 인용되는 출처를 파악하는 데 도움이 될 수 있습니다.

반복해서 확인한 기록에서 우리 브랜드의 노출 양상을 읽어보세요. 특히 경쟁사 페이지나 외부 리뷰가 인용된 답변에서는 고객의 질문에 어떤 정보가 근거로 제시됐는지 살펴볼 수 있습니다. 이를 바탕으로 자사 콘텐츠에 부족한 설명과 근거를 보완하는 것이 GEO의 실행으로 이어집니다.

* 이 콘텐츠에는 AI로 생성한 이미지가 포함되어 있습니다.