🦄 AI : 한층 더 진화했어요

오늘의 홀리몰리

멀티모달이 뭐야?
메타의 이미지바인드
국내 기업도 멀티모달 AI에 집중!

안녕하세요 홀리커 여러분! 오늘은 빅테크 기업들이 주목하고 있는 멀티모달 기술에 대해 소개하려고 해요. 멀티모달에 대해서 들어보신 분도 있겠지만 처음 접해보는 분들도 많으실 것 같은데요. 해당 기술은 어떤 기술인지 함께 알아볼게요!🦄

멀티모달이 뭐야?

©Meta

멀티모달은 멀티(Multi)와 모달리티(Modality)가 합쳐진 단어로 여러 채널의 모달리티를 동시에 받아들여 학습하고 사고하는 AI를 말해요.💬 여기서 모달리티는 ‘양식’,’양상’이라는 뜻으로 어떤 형태로 나타나는 현상이나 그것을 받아들이는 방식을 의미하는데요. 시각, 청각을 비롯한 여러 인터페이스를 통해 정보를 주고받는 것을 말해요.👀 풀어서 설명해볼까요? 사람이 사물을 이해할 때 여러 감각을 이용하여 학습하고 인지하게 되죠. 예를 들어 사과 이미지를 떠올려 보면 사과의 맛, 촉감, 아삭한 소리, 생김새 등이 생각나실거예요.🍎 우리가 사과를 먹으면서 감각을 통해 정보를 접하고 이러한 정보들이 모여 ‘사과’라는 개념을 이루게 되는데요.💭 인간이 사물을 받아들이는 과정에서 얻는 여러 정보들을 모달리티라고 볼 수 있어요!🙌 멀티모달 AI는 여러 모달리티 정보를 받아들이고 사고할 수 있도록 하여 인간과 유사하게 사고할 수 있도록 만드는 것을 의미하는데요. 전 세계적으로 모달리티 연구가 활발히 진행되고 있다고 해요.💥

메타의 이미지바인드

먼저 생성형 AI팀을 꾸려 인공지능 기술 개발에 힘쓰고 있는 메타에 대해 알아볼건데요. 메타는 6가지 유형의 정보를 묶어 학습할 수 있는 멀티모달 AI 모델을 공개했어요.🙌 텍스트, 이미지/비디오, 오디오뿐 아니라 심도, 열화상, 위치를 계산하는 장치센서 데이터까지 총 6가지 정보를 묶어 학습할 수 있는 AI 모델 ‘이미지바인드(ImageBind)’를 선보였는데요.👏 서로 다른 양식의 6가지 정보를 동시에 학습하고 이해할 수 있는 모델은 최초라고 해요.😲 또한 무료로 활용할 수 있는 오픈소스라고 해요. 이미지 바인드를 이용하면 6가지 정보를 조합하여 새로운 결과물을 만들 수 있는데요. 예를 들어 비둘기 사진과 모터 소리를 결합하면 오토바이와 비둘기가 한 화면에 담겨진 이미지를 추출할 수 있어요. 즉, 오디오 정보를 이미지로 만들 수 있는 것이죠! 오디오뿐 아니라 온도, 위치 등의 정보를 활용하여 다양한 결과물 생성이 가능한데요. 그만큼 학습할 수 있는 정보의 종류가 다양해지고, 인간과 유사하게 정보를 학습할 수 있는 것을 의미해요.👩‍🏫 메타는 향후 촉각, 후각, 뇌 신호와 같은 다양한 감각을 연결하여 멀티모달 AI 기술의 확장성을 넓힐 것이라고 말했어요.

국내 기업도 멀티모달 AI에 집중!

국내 테크기업들도 멀티모달 AI 기술 개발에 집중하고 있는데요. LG AI연구원에서 선보인 ‘엑사원(EXAONE)’은 텍스트, 음성, 이미지, 영상을 자유자재로 변환할 수 있는 멀티모달 AI를 연구하고 있어요.🤖 또한 언어를 이미지로, 이미지를 언어로 변환하는 기술 구현에 집중하고 있는데요. ‘달리(DALL-E)’ 서비스가 텍스트를 입력하면 해당 텍스트에 맞는 이미지를 생성해주는 서비스라면, 엑사원은 이미지를 보고 말로 풀어서 설명까지 가능한 거죠.😃

©네이버

네이버는 작년 4월 멀티모달 검색 엔진인 ‘옴니서치’를 검색 서비스에 적용했는데요. 옴니서치는 텍스트, 이미지, 음성 등 각기 다른 입력을 조합해 사용자의 의도에 적합한 검색 결과를 제공하는 기술을 말해요.💬 예를 들어 초록색 나이키 운동화 사진을 입력한 후, ‘유사한 디자인의 검빨 색상’을 입력하면 이에 해당하는 다른 색상의 검색결과를 보여줘요.👟 네이버는 신발뿐만 아니라 전체 패션 카테고리로 확대해, 이후에는 쇼핑, 음식, 장소 등 더 다양한 주제에 순차적으로 옴니서치를 적용할 계획이라고 말했어요. 향후에는 단순히 텍스트로만 검색하는 것이 아닌 이미지, 음성, 영상 등 다양한 정보를 조합하여 검색할 수 있게되는 것이죠!😲

멀티모달 AI 시대가 오면 어떻게 달라질까?

멀티모달 AI가 활성화되면 텍스트나 이미지 생성이 가능했던 영역이 더 넓게 확장될 것으로 보여요. 앞서 살펴보았던 네이버 옴니서치와 같이 텍스트 외에도 여러 정보를 활용해 검색할 수 있게 되겠죠. 또한 멀티모달 AI는 인간과 같이 다양한 정보를 받아들이고 학습할 수 있어 더욱 정확하고 명확한 판단이 가능해지게 될거예요.🦄

SKT, 메타버스 개인 공간 ‘이프홈’ 오픈..집 꾸미고 친구와 소통

SK텔레콤은 메타버스 서비스인 ‘이프랜드’에 이용자 개인이 직접 공간을 꾸미고 일상 기록을 남길 수 있는 개인공간 서비스 ‘이프홈’을 도입했어요. 이프홈은 소셜 네트워크 활동을 강화하기 위해 선보인 개인화된 3D 공간 서비스인데요. 친구와 소통하며 관심사와 일상을 남기는 메타버스 경험을 갖게 될 것으로 기대하고 있어요.

과기정통부, 2023년도 메타버스 융합대학원 신규 선정

과학기술정보통신부는 메타버스 분야 최고급 인재 양성을 위해 ‘메타버스 융합대학원 사업’에 3개 대학이 선정됐다고 밝혔어요. 메타버스 기술 구현에 필요한 XR, 빅데이터, 네트워크와 인문사회 분야를 융합한 전공과목 및 교과목을 운영하고, 메타버스 산업 현안을 해결하기 위한 협력기업들과의 산한협력 프로젝트 수행을 통해 메타버스 산업을 선도할 수 있는 융합형 고급 인재로 양성할 예정이래요.

오늘의 뉴스레터는 여기까지! 🍒

우리 다음주에도 건강히 또 만나요!

뉴스레터 소식이 좋았다면 주변에도 추천해주세요 좋은 건 함께 나눠요😉

지난 뉴스레터 보기

뉴스레터 구독하기

오늘의 뉴스레터는 어땠나요?
좋았어요!🤗ㅣ 아쉬웠어요😢

허밋에 대해 자세히 알아보고 싶다면?!

원더베리

info@wondervari.com

수신거부 Unsubscribe