지난주, 80명이 넘는 분들과 함께한 AI 감각실험실은 그야말로 뜨거운 창작의 용광로였습니다.

서툴지만 설레는 손길로 '나노바나나'를 만지작거리며 이미지를 빚어내는 모습, 그 안에서 터져 나온 신선한 아이디어들을 보며 집단 지성의 힘을 다시 한번 실감했죠. 멋진 시간이었어요.

하지만 파티가 끝나고 나면 늘 이런 질문이 남습니다. 🥹

“이렇게 만든 이미지들, 이걸 대체 어디에 써야 할까?”

바로 이 질문이 오늘 우리가 함께 떠날 여정의 출발점입니다. 요원님이 만든 이미지는 단순한 '사진'이 아니에요. 바로 AI 영상을 위한 고급 '재료'입니다.

오늘은 이 재료들을 어떻게 다듬고 엮어서 한 편의 영상으로 완성시키는지, 현재 업계에서 가장 효율적이라고 평가받는 워크플로우(제작 과정)를 제 경험을 녹여 야무지게 안내해 드릴게요. :)

🧑🏻‍🚀 Step.1 에서는 제미나이나, 챗GPT같은 챗봇과 대화하며 만들 영상의 전체적인 컨셉과 메시지, 그리고 각 장면(Scene)이 순서대로 정리된 텍스트 기반의 스토리보드 또는 시놉시스를 받아봅니다.

모든 창작의 첫 단추는 '기획'입니다. "어떤 이야기를 하고 싶은가?" 이 질문에 스스로 답할 수 있어야 해요. 이때 AI에게 막연히 아이디어를 던지기보다, 아주 깐깐한 상사가 되어 부하직원에게 프로젝트를 일임한다는 마음으로 접근해 보세요.

"최근 대한민국에서 가장 반응좋고 트렌디한 이미지 레퍼런스 이미지를 가지고 영상 광고를 만들거야. 광고에 들어갈 이미지를 생성해줘" 보다는

"1분짜리 영상, 주인공은 소녀, 핸드헬드 느낌으로 이미지 컷을 뽑아줘"라고 요청하는 거죠.
하지만 깐깐한 상사라면 이 정도에서 멈추지 않습니다.
 

• 메시지: 이 영상으로 관객에게 어떤 '감정'을 남길 것인가? (아련한 희망, 도시의 고독, 보이지 않는 연대감…)

• 상징: 나만의 시그니처가 될 모티프는? (장면마다 스치듯 등장하는 빨간 리본, 모든 것을 비추는 파란 창문…)

• 비주얼컨셉: 웨스 앤더슨의 완벽한 대칭, 봉준호의 숨 막히는 롱테이크처럼, 특정 감독의 미학을 빌려올 수 있을까?
  
  

이렇게 집요하고 까다롭게 파고들수록, AI가 만들어내는 결과물은 단순히 ‘그럴듯한 장면’이 아니라 창작자의 시선이 살아 있는 장면이 됩니다.

🧑🏻‍🚀 Step.2 에서는 챗봇에게 집요하게 요청하면서 각 장면별로 필요한 이미지 샷(클로즈업, 풀샷 등)의 종류와 스타일, 카메라 앵글 등이 구체적으로 명시된 상세 이미지 프롬프트 리스트를 받는 단계입니다.

자, 스토리보드가 나왔다면 이제 이미지 프롬프트를 뽑아낼 차례입니다. 여기서 많은 분들이 빠지는 실수가 있어요.

스토리보드를 바탕으로 이미지를 요청할 때, 챗봇은 흔히 복잡한 장면을 한두 문장 안에 모두 집어넣는 경향이 있습니다. 그래서 그 프롬프트대로 이미지를 뽑아보면, 움직임이 없는 정지화면 특성상 어딘가 부자연스럽거나 단조로운 결과물이 나오기 쉬워요.

핵심은 장면 하나하나를 여러 이미지로 '잘게 쪼개고 나누어' 요청하는 겁니다. 하나의 시퀀스(장면 덩어리)를 최소 다섯 가지 이상의 다른 샷으로 확보한다고 생각해보세요.

• 인물의 감정이 드러나는 클로즈업

• 배경과 함께 담아내는 풀 샷

• 정면이 아닌 사선 앵글에서 본 모습

• 같은 공간, 다른 조명 톤

• 질감이나 색감을 살짝 비튼 변주 버전
  
  

이렇게 쌓아둔 이미지는 나중에 편집 타임라인에 올렸을 때, 호흡과 리듬을 조절할 수 있는 든든한 자원이 됩니다. 단순히 그림을 모으는 게 아니라, 편집 리듬을 미리 설계하는 과정이라고 생각하면 이해가 쉬울 거예요. 

🧑🏻‍🚀 Step.3 받은 프롬프트를 활용해 본격적으로 이미지를 생성하는 단계예요. 스토리보드에 맞춰 생성된 수십, 수백 장의 고품질 이미지 파일들. 각 장면별로 폴더를 만들어 정리해두면 좋습니다.

본격적으로 미드저니에서 이미지를 생성할 차례입니다. 여기서 핵심은 ‘재료는 많을수록 좋다’는 사실이에요. 지금 당장 쓸모없어 보이는 B컷 이미지가, 편집 단계에서 예상치 못한 신의 한 수가 되기도 하거든요.

솔직히 말해, 현시점에서 미학적인 이미지를 뽑아내는 데 미드저니는 독보적인 '왕'이 맞습니다. 이번 고혼진 공모전 출품작 400여 개 중 95%가 미드저니를 썼다는 사실이 이를 증명하죠.

가벼운 밈이나 콘텐츠라면 다른 툴도 좋지만, 광고나 영화처럼 감각적인 비주얼이 생명인 작업이라면 아직 미드저니를 대체할 툴은 없습니다. 업계의 '공용어'나 다름없어요.

그러니 미드저니와는 반드시 친해져야 합니다.익숙해질수록 님의 영상 재료는 차원이 달라질거예요. 🥹

앞으로 커뮤니티에서 미드저니를 깊이 있게, 제대로 다루는 시간을 마련할 예정이니 용기 내서 꼭 탑승해보시길 권합니다. 혼자 파고들면 막막할 수 있지만, 함께라면 배움의 속도와 깊이가 훨씬 달라질 거예요.

🧑🏻‍🚀 Step.4 제미나이 2.5 Flash 이미지 생성, 편집 기능을 이용해 기존(미드저니에서) 생성한 이미지들과 톤 앤 매너가 일치하는, 연결 장면(브릿지 컷)이나 디테일 컷 등의 추가 이미지를 만드는 단계입니다.

아무리 이미지를 많이 준비해도, 막상 편집하려고 보면 장면과 장면 사이가 어색하게 느껴질 때가 있어요. 그럴 땐 잠시 작업을 멈추고, 좋아하거나 흉내내고싶은 영화나 뮤직비디오의 장면을 유심히 보세요.

"이 컷 다음에 왜 저 컷이 붙었을까?"를 유심히 살펴보면, ‘내 영상에도 이런 샷이 있으면 좋겠어!’라는 감각이 천천히 생깁니다.

바로 이 '빈틈'을 메워줄 비장의 무기가 최근 구글 제미나이(Gemini)에 탑재된 이미지 생성 기능입니다. 흔히 '나노바나나'라는 코드네임으로 알려졌죠. 기존 이미지와 일관성을 유지하면서 필요한 샷을 빠르게 추가 생성하는 데 아주 유용합니다.

이번 주 감각실험실에 참여하신 분들은 이미 그 위력을 체감하셨을 거예요.

✏️ 최근 구글에서 ‘제미나이 2.5 Flash 이미지 모델을 제대로 활용하는 프롬프트 스킬’을 공식 블로그로 공개했으니 참고해보시면 좋아요.

** 문옥이 멤버십 요원님들은 홀더 단톡방과 디스코드 전용 자료 게시판에서 언제든 다시보기로 확인 가능합니다. 🐙 

🧑🏻‍🚀 Step.5 준비한 이미지를 영상 클립으로 만드는 단계입니다. 한 클립당 5초에서 10초까지 짧은 연출이 가능하기 때문에 이전 단계에서 이미지를 많이 모아두었다면, 잘게잘게 영상 클립들을 확보할 수 있어요.

드디어 이미지에 움직임을 불어넣을 차례입니다. 이 단계에서는 이미지 프롬프트와는 완전히 다른, '영상 생성용 프롬프트'를 새로 작성해야 합니다. 카메라가 어떻게 움직일지, 인물이 어떤 행동을 할지, 빛이 어떻게 변할지 등 구체적으로 명시해주세요.

지금도 여전히 이 분야는 여러 AI 툴들이 각축을 벌이는 춘추전국시대와 같습니다. 😅

• • Veo3: 카메라워크, 특수효과, 인물대사, 현실적인 상황연출에 강함

  • Hailuo: 시네마틱, 특수효과, 물리적, 화학적 모션이 가장 자연스러움

  • Runway: 일관성 있는 장면 생성, 자연스러운 움직임과 간결한 확장에 유리

  • Kling: 고품질의 사실적인 표현, Start Frame-End Frame 의 자연스러운 연결장면.

저는 이번 공모전에서 여러 툴을 테스트했지만, 미드저니의 자체 영상 기능(Animate)도 꽤 많이 활용했습니다. 해상도가 뛰어나고, 스마트폰으로 직접 찍은 듯한 특유의 핸드헬드 질감이 정말 매력적이거든요. 물론 Veo3처럼 현실적인 대사나 특수효과, 역동적인 장면 연출은 어렵습니다. 하지만 광고, CF, 영화 티저, 뮤직비디오 같은 아트워크 중심 작업이라면 미드저니 하나만으로도 충분히 소화 가능합니다.

🧑🏻‍🚀 무료 크레딧으로 경험해본 뒤, 한 툴만 한 달 단위로 결제해서 깊게 써보는 걸 권합니다. 괜히 동시에 여러 툴을 쓰는 것보다, “이 장면엔 어떤 툴이 가장 맞는가”를 체감하는 게 훨씬 큰 자산이 됩니다.

마지막은 편집입니다. 영상의 '톤앤매너'에서 매너를 담당하는 가장 큰 요소가 편집인데요.
흔히 ‘컷을 이어붙이는 과정’으로 이해되지만, 사실 편집은 관객의 시선과 호흡을 설계하는 일입니다. 같은 장면이라도 배치 순서, 길이, 속도, 전환에 따라 감정의 무게가 완전히 달라지죠. 

사실 편집이야말로 아마추어와 프로를 가르는 진짜 경계입니다.

준비된 영상 클립들을 타임라인에 올려 순서를 맞추고, 각 컷의 길이를 조절하며 전체적인 리듬감을 만듭니다. 여기에 어울리는 배경 음악(BGM)과 효과음(SFX)을 더하고, 필요한 경우 자막을 입혀 최종적으로 완성합니다.

이번 레터에서는 간단한 개요만 말씀드리지만, 다음 회차에서 영상 편집의 핵심 작업과정을 차근차근 풀어드릴 예정이예요. 조금만 기다려주세요. ✊

AI는 우리에게 이전에는 상상도 못 할 거대한 날개를 달아주었습니다. 잠시 잠깐 착용하고 뽐낼 수는 있겠습니다만... 날개만 있다고 멀리, 제대로 날 수 있는 건 아니죠.

창작은 누가 더 화려하게 솟구치느냐의 경쟁이 아니에요. 어떤 목적지를 향해, 어떤 경로로, 얼마나 멀리 나아갈 것인가가 중요합니다.

핵심은 날개를 다루는 '나의 시선'

모두가 빠르게 복제하고 소비하는 시대일수록, 우리는 오히려 더 느리게 바라보고 깊게 붙드는 안목을 길러야 해요.

오늘 알려드린 이 '워크플로우 공식'은 누구나 배우고 익힐 수 있습니다. 하지만 그 공식을 어떤 철학과 감각으로 풀어내느냐는 오직 님의 몫이겠죠? 👀