'세계에서 가장 빠른 추론 LLM'을 표방하는 Mercury 2가 출시됐어요. 개발사 Inception Labs는 토큰을 하나씩 생성하는 기존 자기 회귀(auto-regressive) 방식 대신 디퓨전(diffusion) 기반 LLM을 연구하고 있는데요.

디퓨전 LLM은 여러 토큰을 병렬 생성할 수 있어서 처리 속도가 빠르고 비용이 적다고 해요. 에이전트와 검색 등 반복 작업이 늘어나면서 이런 특성이 더 유리해지고 있어요. 엔비디아 블랙웰 GPU에서 초당 1000토큰 이상을 기록해 Claude Haiku, GPT mini 등 경량 모델보다 5배 이상 빠른 속도를 보였다고 합니다.