하지만 JEPA는 임베딩 공간의 모양이 균형 있게 유지되도록 만드는 압력은 전혀 받지 않습니다. 의미 예측만 잘하면 손실이 줄어들기 때문에 모양까지 신경 쓸 이유가 없지요. 여기서 문제가 발생하는데요. 모양을 신경쓰지 않는 JePA 임베딩은 점점 비대칭 구조가 됩니다. 특정 방향은 과도하게 커지고, 다른 방향은 거의 0이 되는 식으로 흐르지요. 결국 의미 표현은 잘하지만 모양은 불안정한 '반쪽짜리' 표현이 됩니다.

LeJEPA는 JePA와 SIGReg를 결합해 만든 새로운 SSL 프레임워크입니다. 앞서 언급했듯이, JEPA는 이미지의 의미적 구조를 학습하는 데 강점이 있지만, 임베딩 공간의 기하학적 균형을 스스로 유지하지는 못합니다. SIGReg는 이 부분을 보완해, 임베딩 공간이 특정 방향으로 치우치지 않고 모든 방향에서 고르게 분포되도록 정규화하는 역할을 합니다.

기존 SSL은 의미 학습과 공간 안정화를 하나의 복잡한 구조 안에서 동시에 해결하려 했기 때문에 teacher–student, EMA, predictor 같은 여러 안정화 장치가 필요했는데요. LeJEPA는 이 두 기능을 명확하게 분리함으로써 훨씬 단순한 구조로도 붕괴 없이 학습이 가능해졌고, 임베딩 공간의 균형이 유지되기 때문에 도메인이 달라져도 안정적으로 적응할 수 있습니다. 성능 측면에서도 JePA의 강점이 강화되어 의미 구조가 더 선명해졌지요. 또 초대형 모델에서도 붕괴하지 않고 안정적으로 학습되며, 실제 실험에서도 뚜렷한 우위를 보였습니다.💫

학습 과정에서도 특징적인 장점이 나타났는데요. LeJEPA는 학습 중 손실 값이 떨어질 때 분류나 전이학습 같은 다운스트림 태스크의 성능도 함께 좋아지는, 드문 유형의 SSL입니다. 기존 SSL들은 손실 값이 아무리 잘 내려가도 실제 성능과 상관이 없는 경우가 많아 모델이 제대로 배우는지 훈련 중에는 판단하기 어려웠는데요. LeJEPA는 손실 값 곡선만 봐도 모델이 올바른 방향으로 학습하고 있는지 바로 확인할 수 있습니다. 또한 PCA에서도 의미별 클러스터가 또렷하게 분리되었으며, 특히 Galaxy10처럼 완전히 다른 도메인에서는 DINOv2·DINOv3 같은 초대형 파운데이션 모델을 앞서는 성능을 보여주었습니다.

LeJEPA 임베딩의 PCA 시각화, 오른쪽: Galaxy10 도메인에서의 LeJEPA 성능 비교. 출처: 논문.

LeJEPA는 의미 중심의 시맨틱 학습(JEPA)과 임베딩 형태 안정화(SIGReg)를 분리해 결합한 결과입니다. 기존 SSL의 복잡한 장치를 대부분 제거하면서도, 붕괴 없이 안정적으로 학습할 수 있는 표현을 만들지요. 임베딩 공간이 균형 있게 유지되기 때문에 도메인이 바뀌어도 표현 품질이 크게 흔들리지 않고, 텍스트나 음성, 멀티모달 등 임베딩이 존재하는 어떤 데이터에도 (이론상으로) 적용할 수 있습니다. LeJEPA는 '어떤 방식으로 SSL을 설계해야 안정성과 표현력을 동시에 확보할 수 있는가'에 대한 실용적인 해답을 제시합니다. 🗝️

셀렉트스타는 AI 에이전트를 활용해 AI 안전성을 평가하는 플랫폼, 다투모 이밸을 개발했습니다. 덕분에 안전한 AI인지 테스트하기 위한 평가용 데이터를 자동으로 생성할 수 있는데요. 원하는 지표에 맞춰 원하는대로, 원하는만큼 AI를 테스트하고 결과를 분석하고 싶다면 셀렉트스타를 찾아주세요! 🌟