LLaVA는 오픈소스 멀티모달 모델로 논문 <Visual Instruction Tuning>을 통해 2023년 4월, 처음으로 공개됐습니다. 멀티모달 모델이지만 텍스트로 된 지시사항을 학습해야 했기 때문에 전체적으로 언어 모델을 기반으로 합니다. 연구진은 기반 모델로 당시 최고 성능을 보였던 LLaMA 계열 오픈소스 언어 모델인 Vicuna를 채택했습니다. 기반 모델이 언어 모델인 만큼, 이미지를 언어 모델이 해석할 수 있도록 인코딩해야 했습니다. 그래서 이미지 인코딩 모델로 멀티모달 모델인 CLIP을 채택했고, 이렇게 임베딩된 시각-텍스트 정보를 언어 모델에 같이 입력하여 학습했습니다.

LLaVA 모델의 아키텍처 출처: Visual Instruction Tuning (Liu et al., 2023)

멀티모달 모델의 특성상 각 모달리티(LLaVA의 경우 텍스트와 이미지)에서 뛰어난 모델을 결합하는 형태로 제안하는데요, LLaVA도 예외는 아닙니다. LLaVA 모델 자체는 사전 훈련된 다른 모델을 빌려온 만큼, 연구 성과로서 기여도가 높은 편은 아닙니다. 이 모델 개발의 핵심은 멀티모달 Instruction Tuning 데이터를 확보하는 것이었습니다.

하지만 앞서 언급했듯 멀티모달 데이터는 상대적으로 희소합니다. 이미지-텍스트가 쌍으로 이뤄진 데이터는 그나마 있지만 질문, 설명, 추론 등의 지시사항과 답변으로 이뤄진 데이터는 더욱이 찾기 어려웠죠. 그래서 연구진은 직접 데이터셋을 생성합니다. 바로, GPT의 도움을 받아서 말이죠.

LLaVA 모델을 훈련시키기 위해 GPT-4로 생성한 데이터 출처: Visual Instruction Tuning (Liu et al., 2023)

위는 지시사항을 따르는(Instruction-following) 데이터를 생성한 예시입니다. 연구진은 GPT-4를 활용해서 이미지는 사용하지 않고 텍스트 데이터로만 지시사항을 생성했습니다. 다행히도 이미지에 대한 설명(Captions)과 이미지 내에 각 개체가 어디에 어느 정도의 크기로 위치하고 있는지 나타내는 바운딩 박스(Bounding Boxes) 정보가 텍스트에 포함되어 있었고, 이를 기반으로 GPT는 이미지 정보를 추론할 수 있습니다.

LLaVA-1.5를 계속 발전시켜 탄생한 LLaVA-NeXT는 추론 성능과 OCR 성능이 개선됐고, 기반 모델을 Vicuna에서 Mistral-7B와 Nous-Hermes-2-Yi-34B로 변경하면서 세상에 대한 이해도도 높였습니다. 또한 다양한 문서와 차트 데이터, 그리고 지시사항을 학습시켰습니다. 즉, 그 사이에 AI가 발전하면서 누적된 정보를 반영하여 모델의 성능을 더욱 강화시켰습니다.

모델 단계에서도 변화가 있었는데요. 고화질의 이미지를 입력으로 받을 수 있도록, 이미지를 쪼개고(Split), 사이즈를 재조정(Resize)해서 각각 독립적으로 인코딩하는 방식을 활용했습니다. 입력 이미지의 사이즈와 비율에 구애받지 않고 인코딩이 가능해졌지요.

LLaVA-1.5가 이미지를 인코딩하는 방법 출처: Improved Baselines with Visual Instruction Tuning (Liu et al., 2023)

덕분에 성능은 더욱 개선됐고, 심지어는 대다수의 벤치마크에서 Google의 Gemini Pro를 넘어섰다고 밝혔습니다. 뿐만 아니라 지난 5월 30일 블로그를 통해 공개한 내용에 따르면, 세부적인 학습 파라미터, 기반 이미지 인코딩 모델, 언어 모델 등을 계속 변경해가며 실험하면서 더욱 성능을 높이기 위한 방안을 연구하고 있다고 하는데요. 그중에서 주목할 만한 부분은 훈련 방식에 대한 인사이트입니다.

출처: LLaVA 블로그 <LLaVA-NeXT: What Else Influences Visual Instruction Tuning Beyond Data?>

기존 학습 방법과 다르게, 1.5단계를 추가하면서 고품질의 지식을 학습합니다. 이 과정은 다름 아닌 기존 데이터를 리캡셔닝(Recaptioning)하는 작업입니다. 연구진은 리캡셔닝을 통해 캡션의 정보를 더욱 풍부하게 함으로써 성능이 비약적으로 개선됐다고 밝혔습니다.

출처: LLaVA 블로그 <LLaVA-NeXT: What Else Influences Visual Instruction Tuning Beyond Data?>

또한 이미지 인코더를 선정하는 과정에서 CLIP-L, EVA 등의 모델을 비교했는데요. 모델 파라미터의 크기가 크면 성능이 뛰어날 것이라는 일반적인 기대와는 달리 오히려 사전훈련된 데이터의 소스와 이미지 화소(Resolution), 시각적 토큰(Visual Token) 수가 더욱 주요한 역할을 한다는 인사이트를 얻었습니다.

멀티모달이 기본이 된 시대에 LLaVA는 정말 다양한 잠재력을 가지고 있습니다. 다국어 기능을 포함해 특정 도메인에 특화된 모델로 발전하고 있는데요. 오픈 소스로 공개된 만큼 LLaVA를 통한 멀티모달의 발전이 기대됩니다. 😌

: Apple이 10일부터 14일까지 미국 캘리포니아주 쿠퍼티노에서 연례 개발자 회의(WWDC)를 개최합니다. 이번 행사에서 가장 주목할 만한 부분은 ‘애플 인텔리전스'라는 새로운 인공지능(AI) 기능입니다. 사파리 브라우저의 웹 페이지 요약, 이메일 및 메시지에 대한 답변 제안 등이 가능해집니다.

중국판 Sora의 새로운 경쟁자, 클링

: 최근 중국의 비디오 플랫폼 회사 콰이쇼우가 개발한 '클링(Kling)' AI 모델이 주목을 받고 있습니다. 이 모델은 단일 프롬프트로 최대 2분 길이의 1080p, 초당 30프레임의 비디오를 생성할 수 있는 능력을 보유하고 있으며, 실제 물리학을 정확하게 시뮬레이션하는 기능을 갖추고 있다고 합니다. 또한, 다양한 종횡비와 샷 유형을 지원합니다.

AI 대필 논문으로 골머리 앓는 학계

: 학계는 AI의 잘못된 사용으로 인해 논문 철회가 급증하고 있다고 보고 있습니다. 2022년에는 5380건의 논문이 철회되었으며, 2023년에는 1만 건 이상이 철회되었습니다. 네이처와 사이언스 같은 저명한 과학 저널은 AI를 연구에 사용할 때 이를 명시하는 정책을 강조하고 있습니다.