AI 시대의 원자재는 데이터입니다. 그걸 캐려고 기업들은 죽은 회사의 편지함을 사들이고 세상의 책을 갈아 없애고 지구 반대편 사람을 고용해 없던 데이터를 손으로 찍어냅니다.

방식은 제각각이지만 모두 사람이 남긴 기록을 노리고 있습니다. 

이렇게 데이터를 긁어내는 일이 데이터를 말려 죽이고 있습니다. 원본을 없애고 시장을 AI가 쓴 글로 채우면 AI가 배울 진짜 사람의 데이터가 줄어들거든요. 그러면 AI는 자기가 뱉은 걸 다시 주워 먹습니다.

복사본을 복사하고, 그걸 또 복사하는 꼴이죠. 품질은 떨어지고 오류는 불어납니다. 이걸 ‘모델 붕괴’라고 부릅니다.

2024년 네이처에 실린 옥스퍼드대 연구진의 논문이 이를 보여주는데요. AI가 만든 글을 가려내지 않고 다시 학습에 쓰면 모델에 되돌릴 수 없는 결함이 쌓인다는 내용입니다.

후속 연구는 진짜 사람의 데이터가 일정 비율 이상 섞여 있으면 붕괴를 피할 수 있다는 결론이 나옵니다. 이래저래 필요한 것은 사람이 남긴 데이터입니다.

구글이 파산한 항공사의 데이터를 인수하고, 직원들은 이에 반발하고. 사람이 데이터를 만드는 인도의 예는 당분간 반복될 것으로 보입니다.

이러한 데이터까지 바닥이 나는 그 이후에는 과연 어떤 일이 벌어질까요. 지금보다 더 똑똑해진 AI는 인간이 만든 데이터가 필요할까요 아니면 필요 없어질까요.

AI 시대 벌어지고 있는 새로운 ‘일화(?)’들이 우리에게 미칠 영향이 점점 궁금해집니다. 미라클레터가 계속해서 독자분들께 전달해 드리겠습니다😊.

그런 의미에서 오늘 점심은 곰탕처럼 우려낸 국물 어떠신가요. 오래 우려낸 국물일수록 맛있습니다. 하지만 ‘어떤 임계점’을 지나는 순간 더 이상 국물의 진한 맛을 느낄 수 없습니다.

마치 인간이 지금 알고 있는 AI처럼 말이에요. 지금까지 AI는 재료를 더할수록 국물이 진해졌습니다. 그런데 넣을 재료가 슬슬 바닥나기 시작했어요.

새 재료가 없으니 제가 우려낸 국물을 다시 솥에 붓는데 그 순간부터 맛은 진해지긴커녕 옅어집니다.

그 임계점을 넘으면 아무리 오래 끓여도 맹탕이죠. 방법은 하나뿐입니다. 새 뼈를 넣는 것. AI에게 그 새 뼈는 사람이 새로 남긴 진짜 데이터입니다.

그러니 오늘은 재탕 말고, 갓 우려낸 첫 국물로 드시면서 AI의 데이터에 대해 논의해 보시기 바랍니다. 

말이 길었습니다. 빠르게 사라지겠습니다. 읽어주셔서 감사합니다.