📮 두둥! LLM을 평가하는 LLM 등장?

함께 공유하고 성장하는 연구 문화를 전파해요

2023년 8월 21일 모두레터

구독하기 I 웹에서 보기 I 지난 레터 보기

created with DALL・E2

님, 모두레터가 왔어요.

뉴립스 2023 워크샵 정보를 정리한 글을 가져왔는데요.

관심 있다면 도전해 봐도 좋을 것 같아요🚀.

곧 가을이네요. 이번주도 힘내세요! :)

이번주 AI 소식

Llama와 Shepherd: LLM을 평가하는 LLM
다양한 오디오 데이터를 생성하는 'AudioLDM2'
단백질 연구를 위한 새로운 데이터셋 'OpenProteinSet'

열린 세미나: 밑바닥부터 시작하는 AI 감정 분석

Llama와 Shepherd: LLM을 평가하는 LLM

©Meta AI

메타 AI에서 LLM(Large Language Model)이 생성한 텍스트를 평가하고 개선점을 제안하는 LLM '셰퍼드(Shepherd)'를 발표했습니다. 개 품종의 하나로 알려진 셰퍼드는 '양치기'라는 뜻도 가지고 있는데요. 라마(Llama)를 안내하는 모델이라는 의미로 셰퍼드라는 이름을 붙였다고 합니다. 메타의 LLM '라마'에 이어 '셰퍼드'까지, 굉장한 작명인 것 같아요!

'LLaMA-7B' 모델 기반으로 학습된 셰퍼드는 LLM이 생성한 답변의 오류와 논리, 일관성 문제 등을 인지하고 피드백을 줄 수 있어요. 사람과 GPT-4가 셰퍼드, '알파카(Alpaca)-7B', 'SelFee(Self-Feedback)', '챗GPT(GPT-3.5)'의 답변을 비교한 결과, 셰퍼드가 생성한 텍스트가 '알파카-7B'와 'SelFee'보다 더 나은 평가를 받았고요. 훨씬 큰 모델인 챗GPT와도 비슷한 성능을 보였다고 하네요. 깃허브 페이지에서 모델 학습에 사용된 데이터를 공개하고 있으니 방문해 보세요!

Shepherd: A Critic for Language Model Generation

다양한 오디오 데이터를 생성하는 'AudioLDM2'

텍스트, 이미지 생성에 비해 오디오 생성 연구가 왜 어렵다고 할까요? 그 이유 중 하나는 '오디오 생성'이라는 태스크에 목소리, 음악, 효과음 등 다양한 데이터가 포함돼 있다는 건데요. 이 데이터들은 사용되는 목적도 서로 달랐고, 각각에 특화된 모델이 별개로 존재했기 때문에 하나로 합친 모델을 만들기가 어려웠습니다. 이 논문에서는 다양한 오디오 데이터를 표현하는 방법으로 'Language of Audio(LOA)'를 제안하면서, 통합된 프레임워크 'AudioLDM 2'를 공개했습니다.

오디오 데이터는 'AudioMAE' 모델로, 다른 모달리티의 데이터는 GPT-2를 이용해 LOA로 인코딩되고요. LOA에서 오디오를 생성할 때는 디퓨전 모델 LDM(Latent Diffusion Model)이 사용됐습니다. AudioLDM 2는 텍스트에서 효과음과 음악을 생성하는 태스크에서 기존 모델보다 뛰어난 성능을 보였고, 음성 합성 태스크에서는 기존 SOTA 모델과 성능이 비슷했다고 하네요. 아래 데모 페이지에서는 텍스트뿐만 아니라 이미지로 생성한 오디오도 들어볼 수 있는데요. 오디오 생성 모델은 앞으로 어떻게 발전할까요?🤗

AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining

단백질 연구를 위한 새로운 데이터셋 'OpenProteinSet'

단백질 구조 예측을 위한 모델 '오픈폴드(OpenFold)'를 만든 콜롬비아 대학의 연구팀이 단백질의 '다중 서열 정렬(MSA, Multiple Sequence Alignment)' 정보를 담은 데이터셋 'OpenProteinSet'을 발표했습니다. 단백질은 20여 가지의 아미노산 분자들이 길게 연결돼 있는 구조를 가지고 있는데요. 이런 단백질 서열(Sequence)들을 정렬한 것, 즉 아미노산 분자들이 가장 많이 일치하도록 배치한 것을 'MSA'라고 합니다. MSA는 단백질 구조 예측뿐만 아니라 단백질 분자의 설계, 분류, 기능 예측 등 생명정보학의 다양한 분야에서 활용되는데요.

'알파폴드(AlphaFold) 2', 'MSA Transformer'와 같이 큰 모델을 학습시켰던 데이터는 공개되지 않았기 때문에 최신 머신러닝 기술을 단백질 연구에 적용하기엔 데이터가 부족한 상황이었어요. OpenProteinSet은 1600만 개 이상의 MSA 데이터를 포함하고 있고, 이 데이터셋으로 오픈폴드 모델을 학습시킨 결과 딥마인드의 알파폴드 2와도 성능이 비슷해졌다고 합니다. 단백질 연구에서도 새로운 모델이 많이 발표될 것 같아 기대가 되네요!

OpenProteinSet: Training data for structural biology at scale

필진 I 신승연, 하자혜