2023 JUN week 1 Vol 33

All in One

AI DATA SOLUTION-

SELECTSTAR

Meta의 SIX SENSE

AI Topic→ →

인간의 공감각을 닮아가다

브루스 윌리스가...죽...나온다고

지금껏 많은 멀티모달 모델이 상용화되었습니다. '멀티모달'(multimodal)을 처음 들어보신다고요? 용어가 익숙지 않더라도 StableDiffusion, DALL-E 등 텍스트 기반 이미지 생성 모델(Text-to-Image)을 사용해 본 적 있다면 여러분은 이미 멀티모달 모델을 접해보신 셈입니다.

그래도 잠깐 설명드리자면, 멀티모달(multimodal)은 두 가지 이상의 모달리티를 결합한 학습 방법을 의미합니다. 일반적으로 모달리티(Modality)란 시각, 청각 촉각 등 여러 감각을 뜻하지만, AI 분야에서는 텍스트, 이미지, 오디오 등 다양한 데이터 형식이란 의미로 사용되지요.

가장 먼저 텍스트와 이미지를 결합한 모델을 떠올릴 수 있습니다.

그런데 Meta는 두 가지 모달리티에 만족하지 않습니다. #뉴스레터15호, A와 I 사이에 G를 더하다(클릭)에서 소개 해드렸듯이, 더 인간에 가까운 인공지능 모델을 만들기 위해 노력하고 있습니다.

지난 5월 9일, Meta가 발표한 ImageBind는 무려 6가지 모달리티를 결합한 모델입니다. 모달리티가 다르면 각 데이터 특성에 따라 임베딩(벡터화)하는 방식이 달라지고, 이를 한 가지 종류의 데이터처럼 다루기 어려워집니다. 그렇다면 Meta는 어떻게 이 문제를 극복했을까요? 이번 호에서는 Meta의 ImageBind에 대해 알아봅니다.

ImageBind

ImageBind는 텍스트, 이미지/비디오, 오디오뿐만 아니라 깊이(3D), 열(적외선 복사), 관성 측정 장치(IMU; Inertial Measurement Units)까지 총 6개의 모달리티를 결합한 모델입니다. 이처럼 다양한 모달리티의 결합으로 ImageBind는 사진 속 객체의 소리, 모양, 온도, 운동에 대해 종합적으로 이해할 수 있는 능력을 갖추게 됩니다.

Meta 연구진은 인간이 단일 이미지에서 여러 감각을 연결할 수 있다는 데서 ImageBind를 착안했습니다. 인간이 이미지 속 동물을 보고 그 울음소리를 상상하고 움직임을 예상하는 것처럼, 인공지능 모델도 학습을 통해 다양한 감각의 연결이 가능하다고 본 것입니다.

만약 6가지 모달리티를 완벽하게 학습하고자 한다면, 학습 데이터 한 건 한 건마다 모든 모달리티 정보가 포함돼 있어야 합니다. 예를 들어, 하나의 호랑이 사진이 있으면 그 호랑이의 울음소리, 체온, 운동성 등이 쌍을 이루어야 한다는 말입니다. 그런데 현실적으로 이런 복잡한 데이터를 대규모로 구축하기는 어렵습니다.

그래서 연구진은 성능이 뛰어난 비전-언어 모델인 CLIP을 활용합니다. #20, The Power of CLIP 참고(클릭) 그리고 이를 기반으로 비디오-오디오, 이미지 - 깊이(3D) 등을 단일한 임베딩 공간에서 학습할 수 있는 환경을 마련합니다. 즉, 동일한 공간에서 각 모달리티간의 관계가 학습될 수 있는 것입니다. 결과적으로 이미지를 중심으로 텍스트와 오디오, 열과 깊이 등이 새롭게 연결될 수 있습니다.

ImageBind의 개요 :ImageBind (Girdhar et al.,2023)

그렇다면 ImageBind를 어떻게 활용할 수 있을까요? 기본적으로 모달리티의 확장이 가능합니다. 즉, 오디오를 활용하여 이미지를 생성하거나 텍스트를 활용하여 오디오를 생성할 수 있다는 의미입니다. 그리고 다른 멀티모달 모델의 능력을 확장시킬 수 있을 것입니다. 텍스트 기반 이미지 생성 모델에 음성을 더하는 식으로요. ImageBind는 입력 쿼리에 여러 모달리티를 사용하고 다른 모달리티 간에 결과를 검색하는 능력을 제공하기도 합니다. 미래에는 다양한 콘텐츠에 대해 멀티 모달리티를 분석하여 더 정확한 검색이 가능할 것입니다. 그렇다고 성능이 뒤처지지도 았습니다. 지금의 ImageBind만으로도 성능 또한 특정 목적(Specialists)을 가진 모델보다도 더 좋은 성능을 낸다고 밝혔습니다.

ImageBind의 오디오, 깊이 정확도 관련 벤치마크 : ImageBind (Girdhar et al.,2023)

ImageBind처럼 6가지의 모달리티를 하나의 공간에서 학습한 것은 이번이 처음입니다. 그러나 Meta는 여기서 멈추지 않고 감각(Touch), 음성(Speech), 냄새(Smell) 등 일반적인 감각들까지 통합하고자 합니다. 결과적으로 인간에 가까운 AI를 만드는 것이 Meta의 큰 꿈으로 보입니다. 인간이 본능적으로 여러 감각을 사용하며 정보를 얻는 것처럼 공감각 능력을 갖춘 AI의 탄생, 여러분은 어떻게 생각하시는지 궁금합니다.

AI TALK SHOWCASE → →

셀렉트스타가 야심ㅊ...한 밤에 준비한 고품격 AI 토크쇼(케이스)를

새롭게 선보입니다.

쏟아지는 최신 AI 뉴스들 중에서

토픽을 엄선하여 뇌피셜 MSG를

잔뜩 버무린 본격 AI 만담 콘텐츠!

이번주에는

최근 주가 폭등에 배아픈 이유로

NVIDIA의 젠슨황을 씹고 뜯고 맛보고 즐기는 현장으로 여러분을

초대합니다

게시판에 좋은 피드벡주신 분들께는 커피쿠폰을 드립니다.

여러분의 많은 참여 기다립니다!

만담 보러가자 Go~Go!

뉴스레터 게시판 BETA OPEN EVENT → →

축하해주시고 응원해주신 여러분께

심심한 감사의 말씀을 드립니다.

당첨 되신분은 marketing@selectstar.ai 로

이름과 모바일 쿠폰을 받을

전화번호를

남겨주시기 바랍니다.

게시판 응원 이벤트는

계속됩니다!

좋은 의견주신 분들께는

커피쿠폰을 드립니다.

여러분의 많은 참여 기다릴께요!

게시판 Go~Go!

AI Community→ →

5월, AI NODAJI도

대전에서 AiFrenz와 함께

성황리에 개최되었습니다!

참가해주신 여러분은 물론,

행사준비와 진행에 수고해주신

여러분께 감사드립니다!

#AI노다지 #셀렉트스타 #AiFrenz #AI네트워킹파티

AI 관심있는 누구나! 와서 노다지를 캐가세요!

직군, 나이에 상관없이 참여할 수 있는 오픈 모임입니다.
AI와 AI 도입, AI 비즈니스, 사업개발에 대한 다양한 프로그램을 운영하고 있는 AI 중심의 커뮤니티입니다.
신사업팀, 사업개발팀, 변화혁신팀 등 회사 내에서 Digital Transformation을 위해 AI 도입을 고민하는 분들이 모여있는 곳입니다.
최신 정보와 기술, 작업 노하우, AI 모델 개발을 위한 플랫폼 서치, 전략 등에 대한 고민, 질문, 다양한 경험 등을 자유롭게 나누고 자기만의 값진 노다지를 캐가십시오!

AI 사업 개발 커뮤니티

더 알아보기 →클릭

AI 사업 개발 채팅방

Join 하기 (입장 비번 : select)→클릭

Promotion → →

AI모델링을 위한

데이터셋이 필요하신가요?

그 막막한 첫걸음

저희 셀렉트스타를 믿고

내딛어 보십시오!

타견적대비 더많은 혜택
1:1 AI 멘토링 지원
최고 투자자들의 '투자 검토'
투자, 법률, 특허관련 특강 기회

* 타사 견적을 제시하시면

그보다 유리한 조건으로

진행해드립니다!

부담없는 무료상담→클릭

Weekly AI Issues → →

오픈AI, ChatGPT 앱 국내 출시

미국시장 출시 6일만에 50만회 다운로드 돌파(기사링크)

iOS용 ChatGPT 앱이 국내 앱스토어에 출시했습니다. 이제 모바일에서도 전용 웹사이트처럼 실시간으로 답변을 주고 받을 수 있습니다. 챗GPT 앱은 2023년 기준 다운로드 횟수 상위 5위에 오르며 인기를 실감하고 있습니다.

AI 커버곡, 저작권 논란

프레디 머큐리가 커버한 김광석의 ‘서른 즈음에’(기사링크)

“AI 활용 안하는 회사 도태될 것“

"잡아먹던가, 잡아먹히지 않기 위해 뛰어야 한다”(기사링크)

NVIDIA의 CEO 젠슨 황이 국립 타이완 대학 졸업식 축사 중 AI의 중요성에 대해 언급했습니다. 젠슨 황은 “AI를 활용하지 않는 회사는 도태될 것”이라며 “AI가 일자리를 빼앗을 것을 우려하는 사람들도 있지만, AI에 능숙한 사람은 일자리를 잃지 않을 것’이라고 말했습니다.