출처: A Gentle Introduction to Retrieval Augmented Generation (RAG)

문서의 임베딩 과정도 언어 모델로 이뤄지는데요. 임베딩을 위한 언어 모델은 답변을 생성하는 언어 모델(e.g. GPT)과는 다릅니다. 임베딩 모델은 문맥을 이해하는 데, 생성형 언어 모델은 다음 단어를 예측하는 데 특화되어 있습니다. 둘 다 언어 모델이지만 각자가 잘하는 역할이 다르다 보니, 같은 질문도 각각 입력돼야 합니다. 당연히 계산 또한 두 번 이뤄져야 하고요. 어딘가 비효율적이지요?

그래서 두 언어 모델을 통합하려는 시도가 이어지고 있습니다. 즉, 검색을 위한 임베딩과 답변 생성을 모두 해내는 올인원 언어 모델이라고 할 수 있죠. 이번 뉴스레터에서는 처음으로 생성과 임베딩을 통합하고자 한 언어 모델 GRIT을 알아보도록 하겠습니다.

출처: Generative Representational Instruction Tuning (Muennighoff et al., 2024)

GRIT은 어떻게 학습했기에 두 능력을 모두 얻었을까요? GRIT은 하나의 모델에 임베딩 표현(Representation)과 생성(Generation)을 위해 *Instruction Tuning을 했습니다.

임베딩을 위해서는 좋은 벡터값을 얻어야 하고, 생성을 위해서는 적절한 다음 토큰을 얻어야 합니다. 학습하는 과정은 같지만 최종적으로 얻어야하는 것이 다르기 때문에 모델의 최종 단계에 약간의 차이를 줍니다.

출처: Generative Representational Instruction Tuning (Muennighoff et al., 2024)

위의 그림에서 알 수 있듯이, 임베딩 태스크에서는 마지막 은닉층(Hidden State)의 가중치 값을 평균을 내고(Mean Pooling), 생성 태스크에서는 마지막 은닉층에서 다음 토큰을 예측하도록 합니다. 여기서 Instruction에 특수한 토큰을 추가해 어떤 태스크로 학습할지 결정합니다. 이 과정을 그림으로 나타내면 아래와 같습니다.

출처: Generative Representational Instruction Tuning (Muennighoff et al., 2024)

GRIT 모델에 동일한 형태로 Instruction이 입력되지만 출력하는 결과는 다른 것을 볼 수 있는데요. 여기서 좋은 임베딩 결과를 얻기 위해, 표현을 위한 Instruction Tuning의 학습 데이터는 분야(Domain), 의도(Intent), **텍스트의 단위(Unit)**을 명시적으로 추가합니다. 가장 위의 예시에서는 과학(Scientific) 분야에 대해, 논문의 초록(Abstract) 단위에서 검색(Retrieve)하고자 하는 의도를 반영해 지시한 것을 볼 수 있습니다.

Instruction Tuning을 위해서는 기반 모델(Base Model)이 필요합니다. GRIT 모델은 Mistral 7B 모델을 기반으로 하여 추가적인 Instruction을 학습시켰습니다. 임베딩과 생성이라는 두 가지 목표를 모두 달성하기 위해 더 많은 학습 횟수가 필요했지만 최종적으로는 두 능력에서 모두 준수한 성능을 보유하게 됐습니다(🔗 GritLM GitHub 링크).

기존 방식의 RAG는 질의문을 ‘임베딩 모델’에 입력하고, 검색된 결과와 함께 질의문을 다시 ‘생성 모델’에 입력해야 했습니다. 하지만 하나의 언어 모델에 이 두 가지 기능을 통합함으로써 비효율성을 줄일 수 있었는데요. 이미 한 번 계산한 정보에 대해 *캐시(Cache)에 저장하여 검색 속도를 비약적으로 줄인 것입니다.

출처: Generative Representational Instruction Tuning (Muennighoff et al., 2024)

GRIT의 Query-Doc Caching 방법을 살펴보겠습니다. 먼저 GRIT 모델(GritLM)은 입력된 질문에 대해 벡터 연산을 진행합니다. 이 벡터는 문서 검색을 위한 목적과 생성을 위한 조건(Condition) 목적으로 모두 활용이 가능합니다. 따라서 두 번 연산하지 않고, 1차 캐시(1st Cache)에 저장해두죠. 검색된 문서에 대해서도 동일하게 적용이 가능한데요. 검색된 문서 벡터 역시 GritLM으로 구한 만큼 생성에 활용할 수 있습니다. 이 정보는 2차 캐시(2nd Cache)에 저장됩니다. 이렇게 두 가지 정보를 모두 GritLM의 입력값으로 활용해 원하는 답변을 생성해내는 것이 Query-Doc Caching의 원리입니다..

하지만 아직 실제 RAG에 활용하기에는 성능이 그리 좋진 않습니다. RAG를 사용한 결과가 RAG를 사용하지 않은 결과와 큰 차이가 없는 것으로 나타났는데요. 이에 대해 연구진은 GRIT 모델이 해당 방식에 대해 파인튜닝되지 않았기 때문이라고 설명합니다. 

GRIT은 Mistral 7B를 기반으로 했지만, 학습 구조의 특성상 어떤 모델에도 이와 같은 시스템을 구현할 수 있습니다. 잠재적으로 다른 모델에 대해서도 연구할 만한 여지가 많다는 의미지요. 현재 가장 뛰어난 성능을 보이는 GPT-4나 Gemini Pro 같은 모델에 대해서도 적용한다면 훨씬 적은 비용으로 RAG를 구현할 수 있다는 희망을 보여주기도 합니다. 물론, 더 많은 연구가 필요하겠지만요.

: 단백질의 3차원 구조를 예측하는 AI 모델 AlphaFold 3가 공개됐습니다. AlphaFold 2가 공개된 지 4년만입니다. AlphaFold 3는 이전 모델의 Evoformer 모듈을 더욱 개선한 Pairformer를 구조를 선보였는데요. 새로운 학습 구조 덕분에 분자 간 상호작용 예측 능력이 크게 개선됐습니다.

AI 장착한 아이패드 프로

: Apple은 7개월만에 AI 칩 ‘M4’를 선보였습니다. 이번에 발표된 M4는 새롭게 출시되는 아이패드 11세대에 반영될 예정입니다. M4 칩은 M2와 비교해 최대 1.5배 향상된 속도의 CPU를 제공하며, AI 기계 학습을 가속하기 위한 뉴럴 엔진 성능은 현존 최고라고 합니다.

OpenAI, 업그레이드 GPT-4o 공개

: OpenAI가 공개한 새로운 멀티모달 모델 GPT-4o는 특히 오디오 성능이 비약적으로 개선됐는데요. 사람의 반응 속도와 유사하게 오디오 응답을 결과를 반환합니다. 이번 모델의 경우 비영어권 모델에 대한 성능도 훨씬 개선됐으며, GPT-4 Turbo보다 속도는 2배, 비용은 0.5배 라고 합니다.