AI 기술을 활용해 사진 속 인물에 생동감을 불어넣는 초기 모델은 사람 얼굴이 일그러지거나 부자연스럽게 움직이는 수준이었습니다. 너무 말이 안되는 모습이라 오히려 밈처럼 사용되기도 했지요. (엄밀히 따지면 조금 다른 기술이지만요.) 하지만 기술이 빠르게 발전하면서 이제는 사람이 자연스럽게 춤추고 움직이는 영상을 만들어낼 수 있습니다.

이런 영상을 만들기 위해서는 참조 사진(Reference image)과 행동을 가이드할 타겟 포즈(Target pose)가 필요합니다. 지금까지는 참조 사진이 주로 인물에 초점을 맞추고 있었습니다. 즉, 인간의 체형과 얼굴에 초점을 맞춰 그 특성을 추출했는데요. 이로 인해 확장성이 떨어졌습니다. 이번 연구는 다양한 인물 캐릭터, 의인화된 동물 캐릭터 등으로 일반화를 위한 시도라고 볼 수 있습니다. Animate-X는 어떤 것(X)이라도 애니메이션화를 시킨다는 의미입니다.

출처: GitHub Pages Animate-X

위 결과물을 살펴볼까요? 참조 사진을 토끼 이미지로 입력한 후, 사람이 등장하는 가이드 영상을 제공하면 일반적으로는 사람의 모습에 가깝게 영상이 생성됩니다. 반면, 이번에 발표된 모델(Ours)은 인간이 아닌 토끼가 짧은 팔다리로 인간과 비슷한 포즈를 취합니다.

왜 일반적으로 형상에 변형이 일어날까요? 기술적인 관점에서 살펴보겠습니다. 애니메이션을 2D 포즈 스켈레톤(뼈대 형태로 단순화한 움직임 표현)으로 변환하면 동작을 추상화하여 여러 대상에 적용할 수 있다는 장점이 있습니다. 하지만 이미지의 세밀한 디테일은 놓치게 되지요. 이를 보완하기 위해 자체 재구성(Self-driven Reconstruction) 전략을 활용하면 참조 이미지와 포즈 스켈레톤을 일치시키면서 동작을 표현할 수 있습니다. 다만, 사람과 토끼처럼 체형이 크게 다른 대상에 적용할 경우 위의 이미지에서 보이듯 부자연스러운 결과가 나타날 수 있습니다.

Animate-X는 복잡한 캐릭터 애니메이션 생성의 경계를 확장하며, 다양한 캐릭터 타입에서 정체성과 모션의 일관성을 유지할 수 있는 독창적인 접근을 제시합니다. IPI와 EPI를 조합한 새로운 모델 구조는 단순한 포즈 추정을 넘어선, 더욱 자연스럽고 유연한 동작을 표현하는데요. 애니메이션뿐 아니라 게임, 가상현실, 디지털 콘텐츠 제작 등에 새로운 기준을 제시하지 않을까 기대가 됩니다.

: 지난 22일, Anthropic이 AI 모델 'Claude 3.5 Sonnet'에 사람처럼 컴퓨터를 사용할 수 있는 'Computer Use' 기능을 추가하여 공개했습니다. 업데이트된 Claude 3.5 Sonnet는 코딩과 도구 사용에서 성능이 크게 향상되었으며, 업계 벤치마크에서 높은 점수를 기록했습니다. 이번 기능 공개는 AI 기술의 새로운 가능성을 열었다고 평가받고 있습니다.

Stability AI, Stable Diffusion 3.5 출시

: 지난 22일, Stability AI가 새로운 이미지 생성 모델 ‘Stable Diffusion 3.5’ 제품군을 출시했습니다. 이 제품군에는 고품질 이미지 생성에 중점을 둔 ‘Large’, 신속한 이미지 생성을 가능하게 하는 'Large Turbo', 그리고 휴대용 기기용으로 최적화된 'Medium' 모델이 포함되어 있습니다. 모든 버전은 오픈 소스로 제공되며 Hugging Face에서 사용할 수 있는데요. 비상업적 용도로는 무료이고 상업적 사용은 연 수익 100만 달러까지 가능합니다.

정부, ‘AI 선도 프로젝트’ 26개 공개… 총 투자비 3.6조 원

: 한국 산업통상자원부가 'AI 자율제조 선도프로젝트 협약식'을 개최하고, 반도체, 자동차, 조선 등 12개 업종에서 AI를 활용하여 생산성을 높이기 위한 26개의 프로젝트를 공개했습니다. 이 프로젝트들은 산업계의 큰 수요를 반영하여 당초 계획된 10개에서 확대된 것으로, 투자비는 3.7조 원에 달하며 정부와 지자체가 4년간 1,900억 원을 지원할 예정입니다. 이번 프로젝트를 통해 제조 비용은 20% 이상 절감하고, 제품 결함은 50% 이상 감소하는 등의 효과를 기대하고 있습니다.