💡 이번주 뉴스레터에는 이런 내용을 담았어요!

• Stable Diffusion 3의 공개 소식와 활용 방법 소식을 전합니다.
• Stable Diffusion 3와 Sora에 활용된 Diffusion Transformer 내용을 정리했습니다.
• Diffusion Transformer를 이해하기 위한 Patchify와 adaLN에 대해서 설명합니다.

안녕하세요, 에디터 배니입니다.

벌써 2024년도 2월이 끝나가고 3월을 향해 가고 있습니다. 2024년이 아직 두 달밖에 지나지 않았는데, 그 사이에 놀랄 만한 소식들이 많이 들려옵니다. 지난주에는 OpenAI에서 Sora를 공개하더니, 딱 일주일만에 stability.ai 에서 Stable Diffusion 3를 공개했습니다.

Stable Diffusion은 Midjourney와 함께 양대 산맥을 이루는 Text-to-Image 모델입니다. 생성형 AI(Generative AI)의 신호탄을 쏘아 올린 모델이라고도 할 수 있습니다. stability.ai는 모델의 규모는 800M부터 8B 파라미터를 제공하고 있고 사용자의 요구에 충족할 수 있는 다양한 모델들을 제공하고자 한다고 밝혔습니다. (현재 Stable Diffusion 3을 활용해보기 위해서는 대기자 명단에 등록해야 합니다. 실제로 활용해보고 싶으신 분들이 있다면 🔗여기를 확인해주세요.)

아직 기술 보고서를 공개하지 않은 만큼 Stable Diffusion 3에 대한 구체적인 정보를 알기는 어렵습니다. 지금까지 공개한 바에 따르면, Stable Diffusion은 Diffusion Transformer와 Flow Matching 기법을 결합한 모델입니다. 이중 Diffusion Transformer, 줄여서 DiT라고도 하는데요. 어디서 들어보지 않으셨나요? 지난주 뉴스레터에서 소개한 Sora에서도 짤막하게 언급했던 모델인데, 요즘 생성 모델에서 심심치 않게 보입니다. 이번주 뉴스레터에서는 DiT를 소개합니다.

2022년 12월, UC Berkeley 대학의 William Peebles는 Scalable Diffusion Models with Transformers를 통해 DiT를 공개했습니다. DiT는 이름처럼 Diffusion 모델과 Transformer이 결합된 모델입니다. 더 정확하게는 Latent Diffusion 모델 구조에서 U-Net을 대신 Transformer 구조를 반영한 것인데요. Latent Diffusion Model(LDM) 구조를 살펴보며 설명해보도록 하겠습니다.

출처: High-Resolution Image Synthesis with Latent Diffusion Models (Rombach et al., 2021)

위 그림은 Stable Diffusion 초기 버전에 활용된 아키텍처입니다. 잠재 공간(Latent Space)으로 인코딩된 이미지는 Diffusion 프로세스를 통해 노이즈(Noise)가 더해집니다. 그리고 이미지의 노이즈를 제거하는 역과정(Reverse Process)이 바로 Denoising입니다. 기본 LDM에서는 이 부분에 U-Net을 활용했지만, DiT는 U-Net을 대신해 Transformer를 활용합니다.

🤔 연구진은 왜 Transformer 구조를 택했을까?

U-Net을 DiT 블록으로 대체한 DiT의 학습 구조

출처: Scalable Diffusion Models with Transformers (Peebles & Xie, 2022)

연구진은 LDM의 구조에 DiT 블록을 추가하여 위와 같이 모델을 수정했습니다. 잠재 공간에 인코딩된 노이즈 데이터(Noised Latent)가 입력값으로 들어오면, Patchify의 과정을 거칩니다. Transformer 구조를 활용하기 위해서는 토큰이 시퀀스처럼 나열된 형태로 입력돼야 합니다.

DiT의 입력값을 추가하기 위한 Patchify 과정

출처: Scalable Diffusion Models with Transformers (Peebles & Xie, 2022)

'이미지의 일부 조각인 패치(Patch)를 토큰으로 본다'는 아이디어는 ViT(Vision Transformer)에서 이미 소개한 바 있습니다. 다만, 여기서는 원본 이미지가 아니라 Noised Latent 데이터를 패치화(Patchify)합니다. 정방형 이미지의 경우, 위의 그림과 같이 조각을 내 이어 붙여 DiT 블록의 입력 토큰으로 활용할 수 있습니다. 여기에 이미지의 캡션과 같은 정보들을 조건(Condition)으로 결합하여 학습한다면 텍스트 프롬프트로 이미지를 생성할 수 있게 됩니다.

DiT 구조를 디자인하는 과정에서 연구진은 어떤 방법이 조건을 정보를 결합하기 유리한 지 실험합니다. 앞선 DiT의 학습 구조 이미지에서 볼 수 있듯이, Cross-Attention, In-Context Conditioning 방법을 활용했지만 성능 비교를 통해 최종적으로 Adaptive Layer Normalization(adaLN)을 기본 구조로 선택했습니다.

벤치마크로 비교한 지표는 FID입니다. FID(Fréchet Inception Distance)는 생성된 이미지와 실제 이미지 간의 품질과 다양성을 측정하는 생성 분야의 벤치마크로, 두 이미지 집합의 특징 공간(Feature Space) 내 거리를 계산하여 성능을 평가합니다. 즉, FID가 낮을수록 생성된 이미지와 실제 생성해야 하는 이미지가 유사하다는 것을 의미합니다. 조건화 전략에 따라 비교한 결과 adaLN-Zero의 성능이 가장 뛰어나다는 것을 알 수 있습니다.

🤔 adaLN-Zero는 무엇이고, adaLN와는 어떻게 다를까?

이렇게 학습된 DiT는 Gflops가 높아질수록 더 낮은 FID 점수를 달성했습니다. Gflops는 연산량을 의미하는데, Trasnformer의 구조의 이점을 활용해 스케일이 커져도 성능을 개선할 수 있다는 점에서 특징적이라고 할 수 있습니다. 또한 DiT는 기존의 다른 생성 모델(LDM, ADM)보다도 낮은 FID를 보인다는 점에서 U-Net 구조를 Transformer로 대체하더라도 성능은 줄어들지 않는다는 것을 보여줍니다.

인공지능 분야에 몸을 담그고 있다 보면 '대학원'이라는 단어를 심심치 않게 듣게 됩니다. 다른 사람들과는 조금 다른, 학문의 길을 걷기로 한 사람들을 보고 있자면 여러 생각이 듭니다.

대학원을 꿈꿔온 사람이라면 더욱 그렇습니다. 학문에 대한 열정이 깊은 건지, 아니면 학위를 얻기 위한 욕망이 큰 건지, 취업을 위한 한 가지 선택지로 대학원을 택한 건지, 자신에게 끊임없는 질문을 던지게 됩니다. 오늘은 그 질문들 끝에, 통계 데이터사이언스 대학원 진학을 결정한 최동수의 이야기를 전해드립니다.