• 구글, TorchTPU 오픈소스화
• 미스트랄, Voxtral 3 발표

이제는 일반 PyTorch 코드 그대로 TPU를 쓸 수 있어요. 허깅페이스 Transformers에서도 설정 한 줄이면 모델을 TPU에 올릴 수 있습니다. 허깅페이스 커널 허브의 TPU 커널을 MoE 모델에 적용하자, 배치(한 번에 처리하는 요청 묶음) 크기 64 기준 디코딩 속도가 기본 구현 대비 Qwen3-30B에서 21.5배, Gemma 4 26B에서 12.8배 빨라졌습니다.

• TPU(텐서 처리 장치): 요리 하나만 잘하도록 만든 전용 주방처럼, AI 계산에 쓰이는 행렬 연산에 맞춰 구글이 직접 설계한 AI 전용 칩
• PyTorch: 목수가 손에 익은 연장 세트를 쓰듯, 많은 개발자가 AI 모델을 만들고 학습시킬 때 쓰는 도구 모음
• 커널: 같은 레시피라도 주방 설비에 맞춰 조리 순서를 다듬듯, 특정 칩에서 계산이 빠르게 돌도록 최적화한 작은 프로그램
• 디코딩: 말을 한 단어씩 이어가며 문장을 완성하듯, AI가 답변을 토큰 단위로 하나씩 생성하는 단계
• SDK(소프트웨어 개발 키트): 조립 가구에 부품과 설명서가 함께 들어 있듯, 특정 기능을 쉽게 개발하도록 묶어 둔 도구와 코드 모음

열린 세미나