📮 비용은 절반, 속도는 3배나..!

함께 공유하고 성장하는 연구 문화를 전파해요

2024년 3월 18일 모두레터

친구랑 같이읽기 I 웹에서 보기 I 지난 레터 보기

created with ChatGPT-4

님, 모두레터가 왔어요!

저번 그림이랑 뭔가 비슷한데 다르죠?🐱

챗GPT에게 지난 그림의 프롬프트를 예측하게 하고,

밤하늘을 아침 하늘로 바꿔달라고 했어요.

뿌연 하늘이지만 밝은 하루가 되길 ꕤ

이번주 SW/AI 소식

비용은 절반, 속도는 3배 빠르다
비공개 언어 모델의 정보 훔치기?

비용은 절반, 속도는 3배 빠르다

©Anthropic

요즘 클로드(Claude) 3 소식에 사람들의 관심이 뜨거운데요. 클로드 3의 세 가지 모델 하이쿠(Haiku), 소네트(Sonnet), 오푸스(Opus) 중에서 가장 가벼운 모델인 '하이쿠'가 마침내 출시되었습니다. 하이쿠도 나머지 두 모델처럼 클로드의 유료 플랜이나 API를 통해 사용할 수 있습니다.

하이쿠는 비슷한 수준의 모델인 GPT-3.5나 제미나이(Gemini) 1.0 프로와 비교했을 때, 벤치마크 성능은 더 좋으면서도 API 비용은 저렴하다고 하는데요. 공식 페이지에서도 빠른 속도와 낮은 비용을 강조하고 있습니다. 동급의 다른 모델보다 처리 속도가 3배 빠르면서도 비용은 저렴해서 단 1달러로 400건의 대법원 판례나 2500장의 이미지를 읽을 수 있다고 하네요. 또한, 하이쿠는 보안과 안전성에도 신경을 썼는데요. 유해한 콘텐츠가 생성되거나 탈옥(Jailbreak) 등으로 모델이 공격받을 가능성을 줄였다고 합니다.

Claude 3 Haiku: our fastest model yet

비공개 언어 모델의 정보 훔치기?

지금까지 다양한 오픈소스 언어 모델이 개발돼 왔지만, GPT-4나 제미나이(Gemini) 등 기업의 대표 모델들 대부분은 자세한 정보가 공개되지 않았어요. 이 분야가 경쟁이 심한 것도 있고, 모델이 악성 프롬프트에 의해 공격받을 위험성도 줄이기 위함인데요. 모델 자체를 공개하는 대신, API를 통해 모델을 사용할 수 있도록 했었죠.

이 API를 통해서 이론적으로 모델의 정보 일부를 얻어낼 수 있다는 연구가 발표되었습니다. 핵심은 바로 API가 제공하는 로그 확률(Logprob)에 있습니다. 충분히 많은 양의 쿼리를 API에 입력시키면 로그 확률 값들로 이루어진 선형 종속적(Linearly dependent) 행렬을 얻을 수 있는데요. 이 행렬을 특이값 분해 등으로 분석하여 트랜스포머의 임베딩 투사 레이어(Embedding projection layer) 값을 알아냈다고 합니다.

Stealing Part of a Production Language Model

필진 I 신승연, 하자혜