젠슨 황이 말하는 토큰은 AI가 문장을 읽고 답을 만들 때 처리하는 최소 단위입니다. 챗봇, 검색, AI 비서 등 오늘날 생성형 AI 서비스는 결국 토큰을 얼마나 빠르고 저렴하게 만들어내느냐가 수익성을 좌우합니다.

과거에는 GPU 한 장 가격이 중요했습니다. 서버 한 대를 얼마에 사느냐가 경쟁력이었죠. 이제는 경쟁의 단위가 다른데요. 이 장비로 토큰을 얼마나 많이, 얼마나 싸게 생산할 수 있느냐가 핵심이 됐습니다.

예를 들어 1억원짜리 기계가 하루 물건 100개를 만들고 유지비도 많이 든다면 기계는 저렴하지만 실은 물건 1개당 원가는 비쌉니다. 반면 10억원짜리 기계가 하루 물건 5000개를 만들고 전력 효율까지 뛰어나다면 초기 투자비는 크더라도 제품 하나당 비용은 더 낮아집니다. 엔비디아가 말하는 ‘가장 싼 토큰’도 이런 개념입니다.

블랙웰 등 최신 AI 시스템은 도입 가격이 매우 높지만, 압도적인 처리량과 전력 효율을 통해 토큰당 비용을 낮출 수 있다는 설명입니다. 많이 비싸지만, 오래 돌릴수록 오히려 경제적이라는 논리입니다. 

이런 변화는 AI 산업이 연구 경쟁에서 운영 경쟁으로 넘어가고 있기 때문입니다. 이제 기업들은 모델 성능만 보는 것이 아니라, 서비스를 얼마나 낮은 비용으로 안정적으로 공급할 수 있는지를 따집니다. 성능이 뛰어나도 운영비가 감당되지 않으면 사업으로 이어지기 어렵습니다.

그래서 빅테크 기업들은 값비싼 GPU를 경쟁적으로 확보하고 있습니다. 단순히 고성능 장비를 사는 것이 아니라, 장기적으로 더 낮은 서비스 원가를 선점하기 위해서입니다.

반도체나 제조업에서도 익숙한 구도입니다. ASML 같은 기업에서 최첨단 반도체 생산 장비를 먼저 들여온 삼성전자, SK하이닉스와 같은 기업이 결국 가장 낮은 비용으로 메모리 칩을 생산하고 시장을 장악한 바 있죠.

앞으로 AI 시장에선 '누가 더 똑똑한 모델을 만들었냐'가 그리 중요하지 않을 가능성이 큽니다. 누가 더 낮은 토큰 원가를 만들었는지, 누가 더 싸게 AI를 대량 공급할 수 있는지가 더 중요한 시대가 오고 있다는 거죠.