NLP 분야 최고 컨퍼런스인 ACL에 논문이 채택된 것을 정말 축하드립니다! 논문 소개를 부탁드려요.

정환: 감사합니다. 이 논문은 KorNAT(Korean National Alignment Test)이라는 한국의 사회적 가치와 일반 지식에 맞춘 대형 언어 모델(LLM) 정렬 벤치마크입니다. 사회적 가치와 일반 지식, 이 두 가지 측면에서 LLM의 정렬을 측정하는데요. 6,174명의 한국인을 대상으로 한 대규모 설문조사와 한국 교과서 및 GED 참고 자료를 기반으로 한 샘플을 사용하여 데이터를 구축하였습니다.

National alignment 개념이 궁금한데요. 조금 더 설명해 주실 수 있나요?

민우: 이번 논문을 통해 최초로 제시한 National alignment는 LLM이 국가별로 사회적 가치와 공통 지식에 대해 국가 구성원들과 잘 일치하는지 평가하는 개념입니다.

KorNAT 논문이 갖는 의미가 깊은 것 같습니다.

정환: 네, 이 논문은 한국이라는 특정 문화적 맥락에서 LLM의 성능을 평가합니다. 이는 국가별 요구에 맞춘 모델을 개발하는 데 중요한 기초 자료가 될 수 있습니다. 또한, 정부의 승인을 받은 TTA라는 기업의 평가를 통과한 데이터셋으로 신뢰성을 갖추고 있고요.

이번 논문은 한국을 기반으로 하였지만, 다른 국가에도 적용할 수 있는 아이디어를 전달한다는 의미에서 한 분야의 시발점을 만들었다고 생각합니다.

KorNAT이 ACL에 등재된 소감은 어떠신가요?

민우: KorNAT은 정부 데이터 구축 사업의 일환으로 자연어처리 최고 학회에 등재된 첫 논문이자, 국내에서 대국민 설문조사를 바탕으로 LLM 벤치마크를 구축한 첫 논문입니다. 최초로 이 두가지를 달성하여 매우 기쁘게 생각합니다.

정환: ACL이라는 세계적인 학회에 등재된 논문에 참여할 수 있다는 점에서 매우 큰 영광입니다. 논문 작성 과정에서 많은 소통과 협업 과정을 겪었는데요. 제 부족함을 느끼는 동시에 많은 걸 배웠습니다. 항상 겸손하고 발전하는 삶을 살 수 있도록 하겠습니다. 감사합니다!