터보퀀트는 AI 데이터를 양자화(quantization)해 압축하는 기술 중 하나입니다. 양자화라는 말이 어렵다면, ‘단순화’라고 해도 좋습니다. AI가 이해하는 숫자 정보를 더 단순한 형태로 바꿔 메모리를 덜 쓰게 만드는 방식인 거죠.

양자화라는 단어는 일견 어려워보이지만, 실생활에서 가장 쉽게 접할 수 있습니다. 가장 쉬운 ‘양자화’의 예시는 반올림인데요. 본래 어떤 데이터 하나가 ‘1.6725…, 1.425234…’라는 두 개의 숫자로 구성되어 있다면, 여기서 1.6725…는 2로 '올리고', 1.425234…는 1로 '내려서' 단순화하는 행위가 바로 ‘양자화’인 겁니다. 어렵게 설명하면, 어떤 연속적인 값(이를테면 실수)을 갖는 신호를, 불연속적인 값(이를테면 자연수)으로 바꿔서 단순화하는 과정을 양자화라고 정의할 수 있겠습니다.

구글이 AI에서 문제의식을 가졌던 건 기존의 ‘단순화(양자화)’ 기술이었는데요. 기존의 기술은 데이터를 압축하면 필연적으로 정확도가 떨어지거나, 이를 보정하기 위한 값을 저장하느라 추가 메모리가 필요해지는 ‘역설’이 존재했습니다.

터보퀀트는 이 지점을 정면 돌파한 기술입니다. 구글 연구진은 보고서에서 “모델 크기를 크게 줄이면서도 정확도 손실 없이 작동한다”고 표현했습니다.

구글이 공개한 실험 결과도 극적인데요. 실험에 따르면 대형 언어모델을 구동할 때 메모리에 저장되는 데이터인 ‘KV 캐시(key-value cache, 키-값 캐시)’를 최소 6배 이상 압축하면서도 장문 벤치마크(LongBench, Needle In A Haystack, ZeroSCROLLS, RULER, L-Eval)에서의 성능 저하가 없었습니다. 일부 환경에서는 처리 속도가 최대 8배까지 빨라졌죠. 이는 압축이 곧 성능 저하라는 기존 공식을 깨버린 셈입니다.

아시다시피 지금 AI의 대표적인 병목으로 지목되는 하드웨어는 메모리입니다. 대형 AI 모델은 연산 자체보다도, 중간 데이터를 저장하고 불러오는 과정에서 병목 구간이 발생합니다. 이 탓에 메모리는 지금도 계속 몸값이 치솟고 있죠. 특히 추론 단계에서는 이 메모리에 저장되는 ‘KV 캐시’가 폭발적으로 늘어나면서 메모리 비용이 급증하는데요.

이 지점에서 구글의 ‘터보퀀트’ 발표에 전 세계 시장이 반응한 이유, 특히 삼성전자·SK하이닉스·마이크론 메모리 3사가 큰 타격을 입은 이유가 설명됩니다. ‘터보퀀트’를 활용하면 결국 메모리를 덜 써도 기존의 성능을 발휘할 수 있다는 소리처럼 들리기 때문입니다.

그렇지만 ‘터보퀀트’ 소식이 준 충격은 일시적이었습니다. 이후에는 ‘제번스 역설’과 같은 낙관론이 대두됐고요. ‘제번스 역설’은 어떤 제품이나 서비스의 효율이 증가하더라도 수요가 주는 것이 아닌, 오히려 증가하는 현상을 가리키는 말입니다. 매년 컴퓨터와 스마트폰에 들어가는 칩의 성능은 좋아지고 있지만, 그게 수요를 줄이지 않는다는 겁니다.

역사적으로는 ‘개틀링 기관총’의 사례를 들 수 있는데요. 개틀링 기관총의 발명가인 ‘리처드 개틀링’은 1초에 100발 이상의 총알을 쏟아부을 수 있는 기관총이 결과적으로 전쟁에 나가는 젊은이를 줄일 수 있을 것이라는 기대를 품고 기관총을 개발했다고 합니다. 그러나 실제로는, 기대와 같은 일은 일어나지 않았죠.

다시 본래 내용으로 돌아와서, 구글의 터보퀀트 기술에 기대되는 일은 ‘메모리 병목 해소’입니다. 지금의 AI 성능을 향상시키는 데 가장 제약이 되는 부분이 바로 메모리 부족이고, 터보퀀트가 이를 해소시켜 줄 거라고 기대된다는 이야기죠.

그런데 메모리 병목이 완화되면, 정확히 어떤 점이 개선되는 걸까요?

메모리에 저장되는 데이터는, 구체적으로는 AI의 ‘맥락 유지’ 능력과 직결됩니다. AI와 오래 대화하다보면 최초에 했던 이야기를 자꾸 AI가 ‘잊어버리는’ 현상을 경험할 수 있는데요. 극단적으로는 AI에게 이성 캐릭터를 연기하도록 요구한 다음, 이용자가 ‘사랑 고백’을 하더라도, 대화가 아주 오래 지속된다면 AI는 그 ‘사랑 고백’을 높은 확률로 잊어버리는 식입니다.

만약 터보퀀트가 AI의 메모리 병목을 개선한다면, 이 맥락 유지 분야에서 눈에 띌만한 성능 상승을 기대해 볼 수 있습니다. 사용자의 취향이나 습관을 반영하는 ‘개인화 AI’나 ‘AI 비서’ 같은 콘셉트의 서비스도 더 탄력을 받을 테고요. 이전에 사용자가 상사에게 어떤 메시지를 받았고, 그 메시지의 분위기가 어땠는지……를 기억해뒀다가, AI가 적절한 조언을 한다던지 하는 식으로요.

이제 ‘터보퀀트’가 메모리 병목을 획기적으로 줄인다고 하더라도, 수요가 감소하지 않을 거라는 ‘제번스 역설’의 핵심을 잡을 수 있을 것 같습니다. AI 맥락 유지 능력이 눈에 띄게 향상된다면, AI의 잠재적 구매자들은 더 낮은 비용으로 예전과 같은 품질의 AI 서비스를 이용하는 대신, 기존 비용과 같은 비용으로 더 높은 품질의 서비스를 이용하고 싶어할 것이란 게 핵심입니다.

결국 싼 값에 5년 전 성능의 스마트폰을 구매하는 사람보다, 그 몇 배의 가격을 지불해서라도 최신형 스마트폰을 구매하는 사람이 많은 만큼, '메모리 수요가 극단적으로 줄어들 것'이라는 전망은 힘을 잃은 것으로 보입니다.