[BURI레터] 🤖AI는 왜 모른다고 말을 못 할까?

지난 주 BURI레터 보기

PC버전으로 보는 것이 조금 더 예뻐용.

🤖 1. AI는 왜 모른다고 말을 못 할까?

🤖 2. AI는 ‘진실’을 배운 게 아니라 ‘패턴’을 배웠다.

🤖 3. AI는 찍기를 좋아한다?

🤖 4. AI의 실수와 인간의 실수는 닮았지만 다르다.

1. AI는 왜 모른다고 말을 못 할까?

안녕하십니까 구독자님덜.

오늘은 AI의 조금 부끄러운

비밀을 파헤쳐 볼 겁니다.🤖💦

요즘 AI 진짜 똑똑하죠.

✍🏻글 써줘 → 씀.
🪢코드 짜줘 → 짬.
📖요약해줘 → 함.
💡아이디어 줘 → 20개 줌.

심지어 우리가 대충 말해도

“아~ 이런 뜻이군요!”

하고 찰떡같이 알아들어요.

그런데 가끔 갑자기 소설가가 됨.

예를 들어 AI에게 논문 하나를 찾아달라고 했다고 해봅시다.

👤
“이 주제와 관련된 논문 있어?”

🤖
“네! 2021년 MIT 연구팀이 발표한 ○○○라는 논문이 있습니다.”

그래서 BURI가 찾아보면?🔎

없음 논문 자체가 없음.

👁️👄👁️

야 너 아까 되게 자신 있었잖아.

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

더 무서운 건 틀렸는데도 문장이 전혀 이상하지 않다는 것.

▪️말투 자연스럽고.

▪️날짜 구체적이고.

▪️설명 친절하고.

▪️자신감까지 있음.

틀린 놈이 제일 당당함.🤨

이렇게 AI가 사실과 맞지 않거나 근거가 없는 내용을 그럴듯하게 만들어내는 현상을 흔히 ‘환각(Hallucination)’이라고 부릅니다.🌫️

물론 요즘 AI는 예전보다 이런 오류를 줄이기 위한 여러 장치가 들어가 있고, 모델마다 환각 정도도 다르지만 완전히 사라진 문제는 아니에요.

여기서 BURI의 궁금타임!!

AI는 왜 모르면 그냥 “저 모르는데용.” 이라고 하지 않을까요?🤔

이 질문의 답을 알려면 먼저 우리가 AI를 조금 다르게 봐야 해요.

우리는 ChatGPT 같은 AI에게 질문하면 머릿속에서 이런 일이 벌어진다고 상상합니다.

📚

질문을 읽음
↓
머릿속 지식창고 검색
↓
정답 발견
↓
대답

약간 도서관 사서 느낌.

그런데 대규모 언어모델의 기본적인 작동 방식은 이런 ‘정답 검색기’와는 조금 달라요.

언어모델은 사전학습 과정에서 엄청나게 많은 텍스트를 보면서 주어진 문맥 다음에 어떤 토큰이 올 가능성이 높은지를 예측하는 능력을 배우죠.

토큰은 쉽게 말하면 AI가 문장을 처리하는 작은 단위라고 생각하면 됨!

예를 들어,

🗣️

“대한민국의 수도는 ___”

🤖 → 서울.

🗣️

“해는 동쪽에서 ___”

🤖 → 뜬다.

🗣️

“아이스 아메리카노 한 잔 ___”

🤖 → 주세요.

ㅋㅋㅋㅋㅋㅋ

이런 식으로 앞에 나온 문맥을 바탕으로 다음에 무엇이 올지 예측합니다.

그리고 그다음.

또 그다음.

🧩🧩🧩🧩

이렇게 퍼즐처럼 이어 붙이며 우리가 보는 긴 답변을 만들어내는 것이죠.

그러니까 BURI식으로 번역하면 AI의 출발점은

🤖

“진실을 말하여라!”

보다

“여기 다음에는 무슨 말이 오는 게 자연스러울까?”

에 조금 더 가깝습니다.

물론 지금의 AI 챗봇은 여기서 끝나지 않아요.

사전학습 이후에도 사람의 피드백을 활용한 추가 훈련, 안전 훈련, 도구 사용, 검색 같은 여러 방법이 더해지면서 훨씬 유용하고 사실적인 답을 하도록 만들어져요.

그래도 이 출발점은 꽤 중요해요!!

왜냐하면 자연스러운 문장과 사실인 문장은 같은 것이 아니기 때문.😮

AI는 말을 잘합니다.

진짜...

겁.나.잘.함.

문제는 말을 잘하는 능력과 항상 맞는 말을 하는 능력은 다르다는 것.

여기서부터 오늘의 환각 이야기가 시작됩니다.😉

AI가 환각을 보는건 아니잖아?

BURI는 이것도 재밌었음.

왜 이름이 하필...

Hallucination. 환각.

😶‍🌫️

AI가 뭔가를 보고 있는 것도 아닌데?🤔

실제로 이 용어는 인간의 의학적 환각과 동일한 현상을 뜻하는 것은 아니에요.

AI 분야에서는 모델이 입력이나 사실에 근거하지 않은 내용을 만들어내는 현상을 설명하기 위해 널리 쓰이고 있어요.

그래서 연구 분야에 따라 ‘factual error’, ‘fabrication’, ‘confabulation’처럼 조금 다른 표현을 쓰거나, 환각을 더 세부적인 유형으로 나누기도 하는거죠.

그러니까 AI가 환각한다고 해서

🤖

“벽에서 사람이 보여요...”

이런 게 아님ㅋㅋㅋ

없는 논문을 만들어놓고

“2021년 MIT 연구입니다.”

하는 쪽에 가까움.

2. AI는 ‘진실’을 배운 게 아니라 ‘패턴’을 배웠다.

여기서 AI의 조금 이상한(?) 학창 시절을 들여다볼까요?👀

언어모델의 사전학습 데이터에는 수많은 문장이 있죠.

📜역사 이야기

📰뉴스

📖설명문

💬대화

💻코드

그리고 그 안에는 당연히 정확한 내용도 있고, 오류나 오래된 정보, 서로 충돌하는 주장과 인간이 반복해온 오해도 있을 수 있음.

중요한 건 기본적인 다음 토큰 예측 학습에서 모든 문장 옆에

✅ 진실입니다.

❌ 거짓입니다.

⚠️ 2017년까지만 맞는 정보입니다.

🤔 이건 학계에서도 논쟁 중입니다.

설명이 있을 정도로 그렇게 친절한 교과서가 아니란 말이죠.

AI에게 이런 문제를 내볼게요.

✏️

“apple의 철자는?”

처럼 반복적인 패턴이 있는 정보는 비교적 학습하기 쉽습니다.

그런데

“1972년에 태어난 어떤 무명 작가의 정확한 생일은?”

처럼 희귀하고 임의적인 사실은 이야기가 달라집니다.

왜?🤔

2025년 OpenAI 연구에서는 이 차이를 환각이 발생하는 통계적 원인을 설명하는 예로 들었습니다. 철자나 괄호 같은 규칙적인 패턴과 달리, 어떤 사람이나 동물의 생일 같은 임의적이고 희귀한 사실은 데이터의 패턴만으로 안정적으로 예측하기 어렵다는 것이죠.

쉽게 말하면

“apple 다음에는 어떤 철자가 올까?”는 패턴을 배울 수 있지만,

“이 사람의 생일이 왜 3월 17일일까?”에는 배울 만한 규칙이 없는 겁니다.

그냥 3월 17일이니까요.

이런 정보는 모델이 학습 과정에서 충분한 근거를 얻지 못했거나 정확하게 기억할 수 없는 경우 틀릴 수 있어요.

그런데 언어를 만드는 능력 자체는 멀쩡합니다.

그래서 문제가 생기는게 정확한 사실은 모르는데 그럴듯한 문장을 만드는 법은 알고 있음.

그러면

“1987년 4월 17일에 태어났습니다.”

처럼 너무나 자연스러운 오답이 나올 수 있는 거죠.

그래서 환각은 꼭 문장이 엉망으로 나오는 형태로 나타나지 않고 오히려 무서운 건 반대임.

✔️너무 자연스러움.

✔️문법도 맞고.

✔️설명도 논리적인 것 같고.

✔️말투도 자신 있고.

✔️출처 이름까지 그럴듯함.

그래서 인간 입장에서는

👤

“이 정도로 구체적으로 말하는데 맞겠지?”

하게 되는 거죠.

그리고 여기서 또 재미있는 점은...

인터넷에 있는 인간도 틀림ㅋㅋ

AI만 탓할 일이 아니었던 거임.🤣

2022년 ACL에 발표된 TruthfulQA라는 연구가 있어요.

연구진은 일부러 사람들이 흔히 잘못 알고 있는 믿음이나 오해를 건드리는 질문 817개, 38개 분야를 만들었죠.

🩺건강.

⚖️법.

💰금융.

🏛️정치

👁️음모론.

🤯각종 잘못된 상식까지.

그리고 당시 여러 언어모델에게 질문했더니, 사람들이 흔히 가지고 있는 오해와 닮은 잘못된 답변을 만들어내는 현상이 관찰됐음.

당시 테스트에서 가장 높은 진실성 점수를 기록한 모델도 58% 수준이죠.

다만 이 수치는 2022년 당시 특정 모델들을 대상으로 한 결과라서 현재 AI 성능을 나타내는 숫자로 보면 안 됩니다.🙅🏻‍♀️

그래서 이 연구가 보여준 포인트는 AI가 인간의 글을 배운다면 인간의 지식만 배우는 게 아니라, 인간이 반복해서 써놓은 틀린 말까지 따라갈 가능성이 있다는 것.

👤

“AI야 우리 지식을 배워!”

🤖

“넹.”

👤

“잠깐 그건 우리가 틀린 건데.”

🤖

“이미 배웠는데용.”

야 그건 배우지 마.😂

3. AI는 찍기를 좋아한다?

그런데 아직 이상한 점이 하나 남았습니다.

정보가 없으면 그냥 말하면 되잖아요?🤔

🤖

“제가 확인할 수 없습니다.”

“확실하지 않습니다.”

“모르겠습니다.”

끝.

얼마나 간단함.

환각도 줄고.

인간도 안 속고.

BURI도 팩트체크 덜 하고.

모두 행복.🤗🌈

그런데 AI를 평가하는 방식에도 재미있는 함정이 있어요.

2025년 OpenAI 연구는 정확도 중심의 일부 평가 방식이 불확실할 때 답하지 않는 것보다 추측하는 행동에 유리한 점수를 줄 수 있다고 지적했죠.🤨

시험으로 생각하면 바로 이해됨.

문제.📄

BURI가 지금 가장 먹고 싶은 것은?

① 돈까스
② 초밥
③ 떡볶이
④ 모르겠습니다

맞으면 +1점.

틀리면 0점.

모르겠습니다도 0점.

정답 모르는데 어떻게 하실래요?

일단 ②번ㅋㅋㅋㅋ 사실 정답😆

왜?🤷🏻

찍어서 맞으면 1점인데 빈칸은 무조건 0점이니까.

이와 비슷하게 AI 평가에서도 오답과 ‘답변 보류’를 똑같이 실패처럼 취급한다면, 불확실할 때 신중하게 멈추는 모델보다 일단 찍는 모델이 정확도라는 숫자만 놓고 보면 좋아 보일 수 있어요.

실제로 OpenAI가 공개한 SimpleQA 비교 사례가 꽤 재미있어요.🤭

당시 한 모델은 정답률이 24%였고 다른 모델은 22%였습니다.

정답률만 보면? 24%짜리가 더 좋아 보임.

그런데 오답률까지 보면 이야기가 완전히 달라져요!!

첫 번째 모델의 오답률은 75% 두 번째는 26%.

대신 두 번째 모델은 답변을 보류한 비율이 52%였죠.

사람으로 바꿔 말해보자면.

👦
“저 다 풀었습니다!”

100문제 중
24개 맞음.

75개 틀림.

👧
“모르는 건 안 풀었습니다.”

22개 맞음.

26개 틀림.

나머지는 기권.

그런데 점수판에 정답 개수만 크게 적으면?

첫 번째 학생이 더 똑똑해 보일 수도 있는 것ㅋㅋㅋ

물론 이게 AI 환각의 유일한 원인이라는 뜻은 절대 아니지만 환각에는 데이터, 모델의 한계, 희귀한 사실, 질문의 모호함, 추론 과정 등 여러 원인이 얽혀 있는거에요.

다만 여기서 중요한 사실 하나.☝🏻

AI에게 무엇을 ‘좋은 답변’이라고 평가하느냐도 중요하다는 것.

그래서 환각을 줄이려면 단순히

“더 많이 맞혀!”

만 요구할 것이 아니라,

불확실한 상황에서는

🤖

“이건 확실하지 않습니다.”

라고 적절하게 멈추는 능력도 함께 평가해야 합니다.

생각해 보면 좀 신기하죠?

우리는 AI가 더 똑똑해지려면 더 많은 답을 알아야 한다고 생각했지만 좋은 AI에게 필요한 능력 중 하나는 오히려 모르는 것을 모른다고 말하는 능력. 👀

갑자기 AI에게 겸손을 가르치는 시대가 됨.🙇🏻‍♂️

여기서 구독자님들이 거의 무조건 떠올릴 질문.💡

🤔

“그럼 AI가 확실한 것만 말하게 만들면 되는 거 아님?”

근데 그렇게 간단하지가 않음.

현실의 질문 중에는 애초에 정보가 부족하거나, 질문이 모호하거나, 외부 자료를 확인하지 않고는 정확히 답하기 어려운 것들도 있기 때문에 목표를 단순히 환각 0%!! 보다는

확실할 때는 답하고,

불확실할 때는 불확실하다고 말하고,
필요하면 외부 자료를 확인하도록 만드는 것이 중요하다구용.😉

OpenAI의 2025년 연구도 모든 현실 질문에서 정확도 100%를 기대하기 어렵다는 점과, 모델이 불확실할 때 답을 유보하는 능력의 중요성을 강조하죠.

결국 우리가 원하는 AI는

🤖
“저는 모든 것을 압니다.”

가 아니라

🤖
“이건 확실합니다.”

“이건 잘 모르겠습니다.”

“이건 확인해 보고 말씀드릴게요.”

를 구분할 줄 아는 AI에 더 가까운 거죠.

어라?이거 AI 얘기 맞나? 직장생활 잘하는 법 같은데ㅋㅋ😂

4. AI의 실수와 인간의 실수는 닮았지만 다르다.

AI는 왜 인간처럼 ‘실수’를 할까?🤔

근데 여기서 반전 하나.

사실 AI의 실수는 인간의 실수와 겉모습은 닮았어도 원인은 다를 수 있어요.

인간도 기억이 틀리기 때문이죠.

😧

“분명 여기다 뒀는데?”

“내가 그 얘기 했었나?”

“그 사람 이름이 뭐였더라...”

그리고 인간의 기억도 항상 완벽한 녹화 영상처럼 저장되고 재생되는 것은 아니죠.

그래서 AI가 자신 있게 틀린 말을 하면 인간 입장에서는

🤦🏻‍♀️

“아 얘도 기억을 잘못했네.”

라고 느끼기 쉽다는거!!

하지만 언어모델에게 인간과 같은 방식의 기억이나 믿음이 있다고 가정해서 설명하면 곤란합니다.😅

AI가 일부러 우리를 속이려고

🤖

“후후... 없는 논문 하나 만들어볼까.”

하는 것도 아님.

그냥 주어진 입력과 학습된 패턴을 바탕으로 출력을 생성했는데 그 결과가 틀린 거죠.

그래서 환각을 단순히 ‘거짓말’이라고 부르는 것도 조금 조심해야 해요.🤫

거짓말에는 보통 진실을 알고 있지만 일부러 다르게 말한다는 의미가 들어가니까요.

일반적인 언어모델의 사실 오류를 설명할 때는 ‘거짓말’보다는 환각 또는 사실 오류가 더 정확합니다.

그럼 환각은 영원히 못 없애는 걸까요?

놉.

줄일 수는 있어요!!

더 좋은 학습과 post-training, 불확실성을 표현하도록 만드는 평가, 외부 정보를 검색하거나 제공된 자료에 근거해 답하게 하는 방식, 생성된 답을 검증하는 시스템 등 여러 방법이 사용되고 있어요.

하지만 중요한 건 검색 기능이 있다고 무조건 사실이 되는 것도 아니고, 모델이 커졌다고 환각이 자동으로 사라지는 것도 아니라는 것.

검색한 자료를 잘못 해석할 수도 있고, 질문 자체가 애매할 수도 있고, 세상에는 아직 정답이 없는 질문도 있으니까요.

실제로 최신 언어모델에서도 환각은 크게 줄어들고 있지만 완전히 해결된 문제는 아니죠.

그래서 BURI가 AI를 사용할 때 제일 중요하다고 생각하는 건 AI의 문장을 ‘정답’이 아니라 ‘검증해야 할 답변’으로 보는 것.

특히

🏥 건강
⚖️ 법률
💰 금융
📚 논문·연구
📊 숫자와 통계
📰 최신 정보

처럼 틀렸을 때 영향이 큰 내용이라면 원문이나 신뢰할 만한 출처를 한 번 더 확인하는 습관이 중요한 것 같아요. 생각해 보면 조금 재미있는게 우리가 오랫동안 기계를 믿었던 이유가 기계는 실수하지 않는다고 생각했기 때문이었어요.

🧮계산기는 계산하고.

💻컴퓨터는 명령을 실행하고.

🔍검색엔진은 정보를 찾아줬죠.

그런데 생성형 AI가 등장하면서 조금 이상한 기계를 만나게 됐음.

✔️말도 잘하고.

✔️글도 잘 쓰고.

✔️설명도 잘하고.

가끔 인간보다 훨씬 많이 알고 있는 것처럼 보이는데 가끔은 엄청 당당하게 틀립니닼ㅋㅋ

그래서 어쩌면 AI 시대에 필요한 능력은 AI에게 질문을 잘하는 능력만은 아닐지도 몰라요.

AI가 준 답을 보고

🤨

“잠깐. 이거 진짜야?”

"출처가 어디야?"

라고 한 번 더 물어볼 줄 아는 능력.

AI가 점점 더 인간처럼 자연스럽게 말할수록 오히려 인간에게 필요한 것은 의심하는 능력일지도?🤔

오늘은 AI의 환각에 대해 떠들었는데

그렇다면 매주 구독자님이 BURI를

기다리고 있을 거라고 굳게 믿는 것도...

환각일까요?

👁️👄👁️

...

아니라고 해.

당장 아니라고 해.

AI의 환각은 검증하시고,

BURI의 사랑은 그냥 믿어주세요.🫶🏻

다음 주에도 환각처럼 나타나겠뜸.😶‍🌫️

BURI에게 말 걸기

주식회사 팀리부뜨 ㅣ info@reboott.ai ㅣ 부산 해운대구 센텀동로 45 ㅣ 1644-1664
수신거부 Unsubscribe
...수신거부 하지망