열린 세미나: 모두를 위한 한국어 오픈액세스 언어모델 - 못다한 이야기

LLM(Large Language Model)이 자연스러운 텍스트를 생성하도록 하기 위해, 사람이 LLM의 답변을 평가하는 방법이 널리 사용되고 있는데요. 사람의 능력이라는 한계가 존재하고, 사람이 직접 답변을 평가해야 하기 때문에 모델을 지속적으로 학습시키기는 어렵다는 단점이 있습니다. 이 논문은 LLM이 스스로 학습할 수 있게 하는 방법을 제안합니다. 하나의 프롬프트로 답변을 여러 개 생성하고, 같은 모델에 평가 프롬프트를 입력해서 각각의 답변에 점수를 매기고요. 그 중에서 점수가 높은 답변들을 모아서 모델 파라미터를 갱신하는 방식입니다. 이렇게 라마(Llama) 2 70B 모델을 파인튜닝한 결과 제미나이(Gemini) 프로, GPT-4와 같은 모델보다 알파카이벌(AlpacaEval) 벤치마크에서 더 좋은 성능을 보였다고 합니다.

딥마인드가 개발한 AI 시스템 알파지오메트리(AlphaGeometry)의 논문이 네이처지에 게재되었습니다. 알파지오메트리는 기하학 문제를 해결하는 모델인데요. 수학 올림피아드의 기하학 문제 30개 중에서 25문제를 풀어 인간 금메달리스트에 근접하는 점수를 얻었다고 합니다. 올림피아드 기하학 문제는 보조선, 점 등의 기하학적 요소들을 추가해서 해결하는 경우가 많죠. 알파지오메트리는 언어 모델과 기호 엔진(Symbolic engine)으로 이루어져 있는데요. 언어 모델은 요소를 추가하는 무한한 경우의 수 중에서 최선의 방법을 예측하고, 기호 엔진이 추론을 통해 문제를 해결합니다. 모델 학습을 위해 딥마인드는 점과 선, 원 사이의 다양한 관계를 표현하는 10억 개의 도형 데이터를 무작위로 생성하고, 비슷한 도형들을 제외하는 작업을 통해 1억 개의 예제 데이터셋을 구성했다고 하네요!

지난달 이화여대 ECC에서 열린 모두콘 2023 - MODULAND의 30여개 세션 영상들이 공개됐습니다🎉. 행사 당일 참가자가 많아 듣기 어려웠거나, 사정상 오지 못 한 분들도 모두 함께 즐겨요!~

님, 안녕하세요! 오름캠프 운영매니저 이수빈입니다 :) 어느덧 절반이 지나고 있는 저희 JavaScript Fullstack 과정에서 이번 주 공유드릴 우수 팀 블로그 글은 'ODM과 Mongoose 사용법'에 관한 글입니다.

작년 뜨거운 관심과 함께 조기 마감했던 'Flutter 모바일 앱 개발 과정'이 새해를 맞아 2기를 모집합니다. 알맹이가 꽉찬 개발자로 함께 성장하고 싶다면 늦지않게 바로 지원하세요!💪😼