• Stable Diffusion의 새로운 버전 'SDXL 1.0' 정식 출시
• 오디오 생성을 위한 오픈 소스 라이브러리 AudioCraft 공개
• VLM에 로봇의 행동을 결합한 모델 RT-2 발표

이제 누구나 한 번쯤은 들어봤을 '생성 모델'. 하지만 이미지나 텍스트 생성 모델에 비해 오디오 생성 모델은 일부 연구가 진행 중이지만, 더 복잡하고 개방적이지 않아 대중의 관심이 상대적으로 적은데요. 메타 AI는 사람들이 오디오 생성 모델을 즐길 수 있도록 오디오크래프트(AudioCraft)를 오픈 소스로 공개했습니다. 오디오크래프트는 세 모델 뮤직젠(MusicGen), 오디오젠(AudioGen), 그리고 인코덱(Encodec)으로 구성됩니다. 뮤직젠과 오디오젠은 텍스트 프롬프트로부터 각각 음악과 효과음(동물 소리, 자동차 소리 등)을 생성하는 모델이고요. 인코덱은 오디오 파일의 압축을 위한 코덱 모델입니다. 메타 AI는 오디오크래프트가 연구자들뿐만 아니라 음악가, 사운드 디자이너들의 작업에도 사용되길 기대한다고 하네요. 챗GPT와 AI 그림처럼, AI 음악도 큰 인기를 얻을 수 있을까요?

구글 딥마인드에서 시각-언어 모델(Vision-Language Model, VLM)에 로봇의 행동을 결합했습니다. 바로 시각-언어-액션(Vision-Language-Action, VLA) 모델, Robotic Transformer 2(RT-2)인데요. 우선 VLM은 이미지와 텍스트 데이터를 모두 처리할 수 있는 모델로, 이미지 캡션 추가부터 생성에 이르기까지 다채로운 분야에서 사용되고 있어요. 하지만 이 태스크들을 로봇이 실제로 수행하게 하기 위해서는 로봇의 행동 데이터가 추가로 필요하다는 과제가 있었죠. 딥마인드는 입력 이미지와 명령(Instruction), 로봇의 행동(Action)을 모두 토큰의 형태로 표현해 트랜스포머로 학습시켰던 기존의 'RT-1' 모델에서 힌트를 얻어, VLM과 결합한 'RT-2'를 개발했습니다. RT-2로 학습된 로봇은 "테일러 스위프트의 사진 쪽으로 콜라 캔 옮기기", "테이블에서 떨어지려고 하는 물체를 들어 올리기"와 같은 복잡한 태스크를 수행할 수 있었고요. 기존 RT-1이나 VC(Visual Cortex)-1 모델과 비교해 성공률이 높았다고 하네요!

• DVA(Drone Video Analysis) LAB _8월 15일까지 #AI_돌고래_행태분석 #SAVE_THE_WORLD🌎
• SCG(Spatial Computing Generative) AI LAB _8월 9일까지 #AppleVisionPro

• 일시: 8월 8일 화요일 I 7:30PM - 9:00PM
• 장소: 모두의연구소 강남캠퍼스
• 연사:이수정(가톨릭대학교 의과대학, Medical AI LAB 랩짱)
• 내용: 간호사에서 AI 연구원까지, 키워드로 보는 경력 변신 I 커리어 비전의 중요성과 설정하는 방법 등

• 스팸메일함에서 울고 있을지도 몰라요. 찾아가 확인해 보세요!
• 주소록에 모두의연구소 이메일 주소(modulabs01@gmail.com)를 추가해 주세요.