All in One AI 데이터 솔루션 All in One
AI DATA SOLUTION-
SELECTSTAR |
|
|
에에올 굿즈 (e-bay)
Everything, Everywhere, All at Once (이하, 에에올)많이들 보셨나요? 논란이 없었던건 아니지만 금년초 아카데미상의 주인공은 단연 '에에올' 이었습니다. 지금까지 멀티버스를 표현했던 수많은 영화들 중 최고라는 평가를 받은 이 영화의 타이틀은 공교롭게도 다중을 의미하는 '멀티'(Multi)까지 품는 모든것을 의미하는 '옴니'(Omni)에 가까웠다고 볼 수 있습니다.
|
|
|
Tracking Everything, Everywhere All at Once
오늘 살펴볼 논문 제목이 바로 “Tracking Everything Everywhere All at Once”입니다. (여기까지 여러분을 모시고 오느라 힘들...)
그럼 본격적으로 이번호의 이슈를 풀어보겠습니다.
여러분이 한 방향으로 걸어가고 있는 어떤이의 모습을 관찰한다고 했을때 잠시 기둥이나 차에 가려져 사람이 내 시야에서 완전히 사라졌다가 곧 다시 나타나는 모습을 보게 되죠. 불과 몇초 시야에서 그 사람은 사라졌지만 여러분은 사라졌다가 다시 나타난 사람이 같은 사람이란 것을 의심하지 않고 인식하게 됩니다. 왜냐하면 인간은 움직임의 연속성을 관찰하고, 그 다음에 행동을 직관적으로 예측하기 때문입니다. 너무 당연하다고요? 하지만 영상을 사진처럼 프레임 단위로 처리하는 기계 입장에서는 둘을 같은 사람이라고 판단할 근거가 필요합니다. 기계 입장에서는 사라졌다가 나타난 같은 모습의 사람은 그저 새로운 프레임에 등장한 또 하나의 인간일 테니까요.
AI 연구자들은 인간의 직관을 컴퓨터가 이해할 수 있도록 학습시켜 왔는데요. 이 분야가 바로 객체 추적(Object Tracking)입니다. 객체 추적은 그 목적에 따라 다시 세분화될 수 있는데 그중 하나가 객체의 역동적인 움직임을 추적하는 모션 추적(Motion Tracking)입니다.
지난 8일, 코넬 대학교와 구글 연구진은 새로운 모션 추적 모델인 OmniMotion를 공개했습니다. 기존의 객체 추적 모델들이 객체를 인식하고 그것의 움직임을 추적하는 데 그쳤다면, OmniMotion은 이제 객체의 정확히 한 포인트를 추적할 수 있습니다. 이번 호에서는 이 OmniMotion이 어떤 원리로 작동하는지 코넬대 연구진들이 발표한 논문 'Tracking Everything Everywhere All at Once'를 살펴보도록 하겠습니다.
OmniMotion의 원리
|
|
|
OmniMotion의 포인트 추적 sample영상 (클릭) |
|
|
모션 추정(Motion Estimation) 방법론의 도전 과제는 3가지로 꼽힙니다.
- 긴 시퀀스에 대해서도 정확하게 추적할 것
- 객체가 가려지더라도 정확하게 추적할 것
- 공간과 시간의 일관성을 유지할 것
OmniMotion은 이 3가지 과제를 극복하기 위해 제안된 모델입니다.
연구의 내용도 논문의 제목에 따라 크게 두 가지로 구분됩니다. “Everything Everywhere”는 OmniMotion은 이미지 속 어떤 포인트라도 추적할 수 있다는 것, 그리고 All at Once는 각 영상마다 표현(Represenation)을 최적화하여 영상 내 전체 모션을 한 번에 추적할 수 있다는 것을 의미합니다.
앞서 언급한 모션 추정(Motion Estimation) 방법론의 3가지 도전 과제를 해결하기 위해 연구진은 다소 독특한 방법론을 제시하는데요. 바로 준3D(quasi-3D) 방법입니다. 3D도 아닌 준3D인 이유는 움직임을 추적하기 위해 모션을 3D로 변환하는 과정에서 고정된 카메라 시점과 분리되지 않도록 한 것입니다. 즉, 완벽하게 3D로 변환한 뒤 움직임을 추정하는 게 아니라 2D 상에서 3D의 움직임을 가정한다고 이해할 수 있습니다.
OmniMotion은 영상 프레임을 3차원 정규 공간(Canonical Space)에 대응(Mapping)시켜 전체 시퀀스에 걸쳐 객체를 올바르게 추적할 수 있도록 합니다. 또한 이미지 픽셀이 3D로 대응되는 포인트와 그것의 상대적인 깊이감을 모두 보존하기 때문에 일시적으로 시야에서 가려지더라도 포인트를 추적할 수 있습니다. 인간이 보이지 않는 객체의 움직임을 예상하는 것처럼요. 아래의 그림을 살펴보면 그네를 타는 사람 가운데 점이 찍혀 있는데요. 그네의 기둥에 일시적으로 가려진다고 하더라도 3차원 공간 속에서 연속적으로 유지됩니다.
|
|
|
영상을 3D 공간으로 생성하기 위해서, 이전에 소개해드린 NeRF(2023년 2월 첫주 Vol 16참고) 를 활용합니다. OmniMotion의 표현 공간은 Canonical 3D 공간 G와 2D 이미지의 데이터 포인트가 투사(Bijection)된 집합으로 이루어져 있습니다. NeRF는 2D 이미지를 3D로 구현하는 모델로, 이미지 프레임 i를 3D로 구현하여 Local Volume을 구하고, 특정한 포인트의 Ray를 계산하며 밀도와 색상을 추론합니다. Local Volume에서 투사된 포인트(xi)와 Canonical 3D의 공간 G 내의 u가 서로 대응이 되는데요. 이와 동일하게 다시 프레임 j에서도 Local Volume을 생성하고, 색상과 밀도를 바탕으로 G와 대응되는 포인트(xj)를 추정합니다. 이를 다시 2차원 공간으로 역투사하면 공간 G를 중심으로 프레임 i와 j에서의 포인트 pi와 pj가 대응됩니다. 이 과정을 통해 OmniMotion은 긴 시퀀스 내에서도 포인트를 추적할 수 있습니다.
물론, 이 과정이 매번 성공하는 것은 아닙니다. 공간G를 잘 나타내지 못하거나 객체가 빠르게 움직이는 경우는 제대로 추적하지 못하는 한계점을 가지고 있습니다. |
|
|
*점 시각화. 차단된 것으로 감지된 지점은 "+" 로 표시됩니다 |
|
|
2D 영상의 객체 추적 문제를 3D로 확장하여 객체의 움직임을 추정한 OmniMotion의 방법론이 인상 깊지 않나요? 새로운 방법론이 제시된 만큼 앞으로 이와 관련된 연구는 더욱 확장될 것 같습니다.
논문 제목의 센스가 돋보였던 만큼 앞으로 이와 유사한 모델들이 시리즈로 계속 제안될 것으로 예상해봅니다. |
|
|
SELECTSTAR AI WEBINAR → → |
|
|
셀렉트스타가
ChatGPT로 심즈와 같은
NPC 인공지능을 구현한
스탠포드대 박준성 박사님을 모시고
WEBINAR를 개최합니다!
일시 :7월6일(목) 14:00 ~ 16:00
신청 :6월 27일(수)~ 7월 5일(수)까지
*
최종 링크를 받으신분만 참여하실 수 있습니다.
*
놓치기 아까운 기회, 꼭 신청하세요!
|
|
|
셀렉트스타의 야심작
고품격(?) AI 토크쇼(케이스)
"혁주와 찬수"
이번주부터는
매주 목요일에 단독 개봉됩니다!
기대하세요!
딱! 60초 안에
이 콤비의 매력에
빠져들게 될 것입니다! |
|
|
매주 AI 소식을 전해드리면서
반갑게 메일을 열어보시는
6,000 여 분의 목소리도
궁금했었습니다.
이제, 일방이 아닌 구독자 여러분과
양방향으로 Interactive하게 소통하고 싶습니다.
여러분들의 다양한 의견들을
기다리겠습니다.
게시판 응원 이벤트는
계속됩니다!
좋은 의견주신 분들께는
커피쿠폰을 드립니다.
여러분의 많은 참여 기다릴께요!
|
|
|
AI 관심있는 누구나! 와서 노다지를 캐가세요!
- 직군, 나이에 상관없이 참여할 수 있는 오픈 모임입니다.
- AI와 AI 도입, AI 비즈니스, 사업개발에 대한 다양한 프로그램을 운영하고 있는 AI 중심의 커뮤니티입니다.
- 신사업팀, 사업개발팀, 변화혁신팀 등 회사 내에서 Digital Transformation을 위해 AI 도입을 고민하는 분들이 모여있는 곳입니다.
- 최신 정보와 기술, 작업 노하우, AI 모델 개발을 위한 플랫폼 서치, 전략 등에 대한 고민, 질문, 다양한 경험 등을 자유롭게 나누고 자기만의 값진 노다지를 캐가십시오!
|
|
|
AI모델링을 위한
데이터셋이 필요하신가요?
빠르고 정확한 데이터 가공으로
최고의 가성비 데이터셋을
구축해 드립니다!
<플러스 알파 혜택>
- 타견적 대비 고품질 결과물
- 1:1 AI 멘토링 지원
- 최고 투자자들의 '투자 검토'
- 투자, 법률, 특허 관련
특강 기회
|
|
|
Weekly AI Issues → →
Tesla, 슈퍼컴퓨터 ‘Dojo’ 다음달 생산 시작
테슬라가 개발 중이었던 슈퍼컴퓨터 ‘도조’가 다음 달부터 생산에 들어갑니다. 도조 컴퓨터는 테슬라 자체 개발 칩 ‘D1’ 25개로 구성된 ‘훈련 타일’이 거대하게 연결된 구조입니다. |
|
|
OpenAI, AI모델 ‘앱스토어’ 구축한다
OpenAI가 인공지능 모델을 위한 자체 앱 스토어 구축을 고려하고 있는 것으로 알려졌습니다. 고객이 OpenAI 기술을 기반으로 특정 용도에 맞게 맞춤화된 AI 모델을 판매할 수 있도록 앱 스토어를 만든다는 것인데요. 이미 ChatGPT 플러그인을 통해 자체적인 AI 시장을 형성하려고 했지만 아직까지 큰 성과를 올리지 못하고 있습니다. 이에 아직까지는 더욱 철저한 시장조사가 필요할 것으로 보입니다.
|
|
|
상업적 LLM 공개하는 메타
메타는 지난 2월 LLaMa를 공개하면서 거대 언어모델인 LLM의 대중화를 이끌었습니다. 그러나 아직까지 상업적 이용이 불가능했는데요. 지난주 메타가 상업적으로 이용할 수 있는 LLM을 공개하겠다고 밝혔습니다. 이는 대중적인 LLM 활용을 이끌어 시장을 확보하려는 전략으로 보입니다. |
|
|
SNOW, AI로 만드 프로필 화제
SNOW가 출시한 AI 프로필이 SNS에서 화제입니다. 내 사진 한 장만 입력하면 그에 맞춰 프로필 이미지가 생성되는 것인데요. 다양한 버전, 다양한 콘셉트로 만들어져 젊은 세대에게 인기를 끌고 있습니다. 유료 버전임에도 불구하고 값비싼 프로필 사진을 찍는 데 비하면 저렴하다는 인식도 한몫하는 것으로 보입니다. |
|
|
Subscribe → →
한 주간의 AI 뉴스들을 큐레이션하고 AI HOT TOPIC과 ISSUE들을 분석한 기사들을 뉴스레터로 매주 한 번씩 발송해드립니다.
6,000 여명의 구독자들과 함께 하십시오!
요즘 AI 트렌드는 망설이다보면 따라 잡을 수 없습니다! |
|
|
|
*본 콘텐츠는 deep daiv. 와의 제휴로 구성 되었습니다.
|
|
|
|
|
