LLaMA-Factory, Axolotl에 이어 Unsoloth 파인튜닝 솔루션을 소개합니다. 적은 자원으로, 심지어 GTX와 같은 소비자용 그래픽 카드에서도 LLM을 파인튜닝할 수 있는 방법을 제공하는 파인튜닝 솔루션 Unsloth는 비용적으로도 성능으로도 강한 솔루션을 지금 알아볼까요??

이번 달에는 OpenAI에서 출시한 GPT-4o mini와 Meta에서 출시된 Llama 3.1의 특장점을 분석하면서 과연 LLM 치킨 게임의 승자가 누가 될지 예측해보겠습니다.

✅️ GPT-4o mini

이번 GPT-4o mini는 2023년 3월 출시된 초기 GPT-4 수준까지 성능을 끌어올렸고, 가격은 기존 GPT-3.5보다 절반 이상 낮췄습니다. 성능과 가격 두 마리 토끼를 모두 잡은 모델이라 할 수 있습니다. 또한 기존 GPT-3.5 Turbo의 단점으로 지적되던 컨텍스트 사이즈를 12만 8천 토큰으로 늘려 활용 범위를 더 넓혔습니다.

• 파인튜닝 지원: 다양한 커스터마이징이 가능하여 특정 용도에 맞게 조정할 수 있습니다.
• 멀티모달 기능: 현재 텍스트와 비전 기능을 제공하여 다방면에서 활용 가능합니다.
• 다국어 향상: 한국어의 경우 1.7배 더 적은 토큰을 사용하여 효율성이 크게 향상되었습니다.

✅️  Llama 3.1

Llama 3.1은 8B, 70B, 405B 세 가지 파라미터로 출시되었습니다. 컨텍스트 사이즈도 기존 8K에서 128K로 확장했습니다. 학습 데이터는 2023년 12월까지의 데이터를 사용했습니다.

• 오픈 모델: 모델의 구조, 사용된 데이터, Scaling Law, 계산 자원의 클러스터 구성 방식, Parallelism 적용 방식, 학습 과정, 안전성, 멀티모달 실험, 인퍼런스 최적화 등을 모두 공개하여 투명성을 높였습니다.
• 성능: 현재 시장에서 널리 사용되는 GPT, Claude 류의 모델과 비교해도 밀리지 않는 성능을 자랑합니다. 벤치마크 자료에 따르면 Llama 3.1 405B는 GPT-4를 확실히 뛰어넘고, GPT-4o보다는 약간 떨어지지만 그에 준하는 성능을 보입니다. 70B 모델은 GPT-4에 준하는 성능을, 8B 모델은 동일 클래스의 다른 오픈 모델 대비 최고의 성능을 보여 활용도가 높습니다.

결론

GPT-4o mini와 Llama 3.1은 각각 독특한 강점을 지니고 있습니다. GPT-4o mini는 비용 효율성과 성능, 컨텍스트 사이즈에서 강점을 보이며, Llama 3.1은 오픈 모델의 개방성과 고성능을 자랑합니다. 최종 승자는 각 모델의 활용 목적과 사용자의 필요에 따라 달라질 것입니다.

이번 LLM 치킨 게임의 승자는 누가 될지, 앞으로의 행보가 주목됩니다.