📮 챗GPT와 본격 경쟁 시작⚡

함께 공유하고 성장하는 연구 문화를 전파해요

2024년 4월 22일 모두레터

친구랑 같이읽기 I 웹에서 보기 I 지난 레터 보기

created with DALL·E

님, 모두레터가 왔어요!

SNS에서 핫한 뮤비 하나 들고 왔어요.

아빠와 초등학생 아들이 함께 만든 뮤비,

🌿차노을 - Happy

님도 행복하길 바래요!

"랩을 하는 랩퍼, 얍얍얍! 멋진 태권도장 관장.

뭐가 됐든 행복하면 됐지. 뭐가 됐든 함께라면 됐지

사실 내가 진짜 되고 싶은 건 세상에서 가장 행복한 사람"

이번주 SW/AI 소식

메타, 최신 LLM 라마 3 공개
믹스트랄 8x7B 뒤잇는 모델 나왔다

열린 세미나: 🏙️AI 반도체 생태계의 이해와 참여 방법

메타, 최신 LLM 라마 3 공개

©Hugging Face

마침내 메타(Meta)에서 라마 3가 출시되었습니다. 이번에 공개된 모델은 8B(파라미터 80억 개)와 70B의 두 가지고요. 성능이 향상된 더 다양한 크기의 모델과 라마 3의 연구 논문을 앞으로 몇 달 안에 공개할 예정이라고 합니다. 라마 2보다 성능이 크게 향상된 것은 물론이고, 제미나이(Gemini)나 클로드(Claude), 미스트랄(Mistral) 등 주요 모델들과 비교했을 때도 비슷한 크기의 모델 중에서는 가장 높은 성능을 보여주고 있습니다. 128K 크기의 토크나이저와 GQA 기법을 사용하여 성능을 끌어올렸다고 하네요. 라마 3 시리즈의 가장 큰 모델은 크기가 400B 이상이 될 것이라고 하는데요. 멀티모달(Multimodal) 데이터를 이해하는 능력과 함께, 다양한 언어를 지원하는 모델도 출시될 예정이라고 하네요!

Introducing Meta Llama 3: The most capable openly available LLM to date

믹스트랄 8x7B 뒤잇는 모델 나왔다

©Mistral AI

Mixture-of-Experts(MoE) 기법을 사용한 믹스트랄(Mixtral) 8x7B 등 독창적인 언어 모델을 만들어오고 있는 미스트랄 AI(Mistral AI)에서 MoE 기법을 사용한 새로운 모델 'Mixtral 8x22B'를 공개했습니다. MoE 기법을 사용한 모델이 여러 개의 전문가(Expert) 모듈 중 일부만 사용해 비용을 적게 소모한다는 장점이 있었던만큼, 이번 소식에서도 이 부분을 강조하고 있습니다.

믹스트랄 8x22B 모델의 전체 파라미터 수는 141B(1410억 개)인데, 한번에 활성화되는 파라미터가 39B 정도라고 하는데요. 비용적인 측면 이외에도 영어, 프랑스어, 이탈리아어 등 5개 언어를 이해할 수 있고요. 수학과 코딩, 추론 등의 태스크에서도 70B 파라미터를 모두 사용하는 라마 2 70B 모델보다 벤치마크 테스트에서 높은 점수를 기록했다고 합니다.

Cheaper, Better, Faster, Stronger - Mixtral 8x22B

필진 I 신승연, 하자혜

모두의연구소 소식

LAB 연구원 찾아요

DVA LAB 시즌 2 (서비스 팀) 신청하기
DVA LAB 시즌 2 (AI모델개발 팀) 신청하기
Creative Coding LAB 신청하기
AI experience(AIX) LAB 신청하기

New NVIDIA-Autonomous Driving LAB 신청하기
New RAG & Agent (RAGA) LAB 신청하기
New X Fusion LAB 신청하기
New Unreal Engine(UE) LAB 신청하기
New Multi-RL Env LAB 신청하기
New DR4R LAB 시즌 5 신청하기

새로운 LAB 만들기

풀잎스쿨 연구원 찾아요

프로그래머를 위한 확률과 통계 신청하기
내 최애 LLM for RecSys 신청하기

열린 세미나

🏙️AI 반도체 생태계의 이해와 참여 방법

일시: 4월 30일 화요일 7PM - 9:30PM
장소: 모두의연구소 강남캠퍼스
연사: 이동수(네이버클라우드)
내용: AI 반도체의 트렌드 현황 · 연구 및 관심이 필요한 분야 · 신입 개발자들도 참여할 수 있는 분야 · 네이버클라우드가 만들어 가고자 하는 생태계의 방향성 및 응용 분야 등

무료 신청하기

지난 세미나 보러가기

오늘도 님의 성장을 응원할게요!

서울시 강남구 강남대로 324(역삼디오슈페리움) 2F

🕊️주변에 공유하기

💌모두레터 의견 전하기

✨구독 정보 수정하기

모두레터 해지하기