🔗 LLM 평가 플랫폼 무료 사전 등록하기 | 🔗 저작권 해결된 데이터셋 구매하기

설 연휴 동안 전 세계를 뒤흔든 뉴스가 있습니다. 바로 중국의 AI 스타트업 DeepSeek(딥시크)가 출시한 LLM 모델인 R1의 출시 소식인데요. R1은 단지 성능이 뛰어난 것뿐만 아니라, 경쟁사들에 비해 낮은 비용으로 개발되었습니다. 게다가 무료로 공개되었지요. 샘 올트만은 경쟁을 의식한 듯, R1은 '특히나 가격 대비 좋은 성능'이라고 언급하며 오픈AI는 '당연히 훨씬 좋은 모델들'을 출시할 예정이라고 트윗을 올리기도 했습니다. 

샘 올트만의 경쟁심에 불을 붙인 딥시크의 모델에 대해 알아볼까요? 🔎

딥시크는 LLM을 훈련하는 전통적인 방법을 넘어서는 방법을 제시했습니다. LLM의 훈련 과정은 두 가지 주요 단계로 나눌 수 있습니다: 프리트레이닝(Pretraining)과 포스트트레이닝(Post-training). 딥시크는 포스트트레이닝 과정에서 인간의 개입을 최소화하고, 컴퓨터가 스스로 모델을 평가하고 학습하도록 했습니다.

• 강화 학습의 자동화: 딥시크는 강화 학습을 자동화하여, 기존에 인간이 직접 모델에 대한 피드백을 제공했던 단계를 생략했습니다. 이 방식은 특히 수학과 코드 문제에서 뛰어난 성과를 보였으며, 비용 절감에도 큰 도움이 되었습니다.
  
  

• 새로운 알고리즘: Group Relative Policy Optimization (GRPO): 딥시크는 GRPO라는 새로운 알고리즘을 사용해 모델 훈련의 효율성을 극대화했습니다. 기존 강화 학습 방법들은 별도의 예측 모델이 필요했지만, GRPO는 추가적인 모델 없이도 효율적인 훈련을 가능하게 했는데요. GRPO는 LLM의 추론 능력을 향상시키기 위해 설계된 강화 학습 알고리즘입니다. 

• 기본 개념: GRPO는 강화 학습에서의 정책 최적화 방식을 새로운 방식으로 접근합니다. 전통적인 강화 학습 방법은 별도의 비평 모델(critic model)을 사용하여 정책을 평가하고, 이를 통해 학습을 진행합니다. 그러나 GRPO는 그룹 내의 응답들끼리 비교하여 성능을 평가하고, 이를 통해 정책(policy)을 최적화하는 방식을 채택합니다. 즉, 모델은 그룹 내 다른 응답들과 비교하여 성과를 판단하고 이를 바탕으로 최적화하는 방법을 사용합니다.
  
  

• Proximal Policy Optimization (PPO)과의 관계: GRPO는 강화 학습에서 매우 인기 있는 방법 중 하나인 Proximal Policy Optimization (PPO)의 변형으로 분류되는데요. PPO는 클리핑(clipping) 기법을 사용하여 정책 업데이트의 급격한 변화를 방지하고 안정적인 학습을 가능하게 합니다. GRPO는 PPO와 유사한 방식으로 동작하지만, 비평 모델 대신 그룹 내 성과 비교를 사용하여 더 효율적인 최적화가 가능합니다.
  
  

• 계산 복잡도 감소: GRPO는 전통적인 강화 학습 알고리즘에 비해 계산 복잡도(computational complexity)를 크게 줄일 수 있습니다. 이유는 가치 함수 추정기를 사용하지 않기 때문입니다. 전통적인 알고리즘에서는 가치 함수 추정기를 통해 모델이 각 상태에 대한 가치를 평가해야 했지만, GRPO는 이 과정을 생략하고 그룹 내 상대적 성과를 사용하여 계산을 더 단순화합니다.
  
  

• 학습 성과: GRPO는 그룹 내의 상대적인 성과를 최적화하므로, 모델은 더 효율적으로 학습할 수 있습니다. 이는 특히 LLM에서 중요한데요. LLM은 매우 복잡한 응답을 생성하고 이를 평가하는 과정이 중요한 학습 요소이기 때문입니다.

AI 데이터의 기준을 만듭니다