• 이미지 생성 모델의 편향(Bias) 문제
• 마이크로소프트(MS) '파이-1'과 데이터 품질의 중요성
• 모션GPT: 사람의 움직임을 생성하다
• AI로 쐐기 문자 해독하기

허깅페이스는 작년 9월부터 AI와 윤리, 사회에 관한 글을 주기적으로 발행하고 있는데요. 최근 올라온 네 번째 글에서는 text-to-image 생성 모델의 편향 문제를 다루고 있습니다. 결국 AI 모델은 인간이 만든 데이터로 학습되기 때문에, 사람들의 고정관념이 AI 모델에서도 그대로 나타나죠. 그동안 어떤 문장을 영어로 번역할 때 문맥에 따라 대명사(he/she)가 다르게 붙는다거나, 컴퓨터 비전 모델이 유색인종은 잘 인식하지 못 하는 등의 여러 이슈들이 있었어요.

요즘 활발히 연구되고 있는 생성 모델도 이와 같은 편향성 문제를 피할 수 없었습니다. 위 사진을 보면, 'CEO(최고경영자)', 'Manager(관리자)' 키워드로 생성된 이미지들이 모두 비슷한 느낌의 인물로 표현된 걸 확인할 수 있는데요. 허깅페이스는 이러한 편향성 문제가 데이터셋부터 모델의 잠재 공간(Latent space), 그리고 폭력적/선정적인 결과를 거르는 필터링 작업에 이르기까지 많은 부분에서 나타날 수 있다고 말합니다.

MS에서 코드를 생성하는 작은 규모의 LLM(Large Language Model)인 '파이-1(phi-1)'을 발표했습니다. 일반적으로 딥러닝 모델은 모델의 크기가 클수록, 학습 데이터가 많을수록 좋은 성능을 보이는데요. '파이-1' 모델은 "교과서 예제만큼 품질이 좋은(Textbook quality)" 데이터를 사용하여 13억(1.3B) 개의 파라미터만으로도 기존보다 뛰어난 성능을 기록했습니다. 데이터셋을 구성하는 토큰 수도 70억 개로, 타 LLM들이 모델 학습에 수천억 개의 토큰을 사용한 것과 비교해 확연히 차이를 보여줍니다. 데이터셋의 크기뿐만 아니라 품질도 매우 중요한 역할을 한다는 것을 보여주는 예시가 될 수 있겠네요!

텍스트, 이미지 생성 모델에 이어 사람의 모션(Motion)을 생성하는 모델이 연구되고 있습니다. 기존의 모션 생성 모델들은 대부분 텍스트로부터 사람의 모션을 생성하는데요. 이런 방식을 실제 디지털 휴먼(Digital human) 분야에서 사용하는 데는 한계가 있다고 합니다. 이번에 소개할 '모션GPT(Motion General-Purpose generaTor)'는 특정 모션 정보도 별도의 인코더(Encoder)에 함께 입력시켜서 연속적인 휴먼 모션도 생성할 수 있다고 하네요. 'GPT'가 붙어 언어 모델이 먼저 연상될텐데 위에 약자를 풀어쓴 것을 유심히 봐 주세요😄. 아래 링크에서 해당 모델의 상세 내용과 데모도 확인할 수 있습니다!

이제는 고고학 분야에서도 AI 기술이 활용되고 있습니다. 고대 메소포타미아 문명의 쐐기 문자(Cuneiform)를 AI로 해독하는 논문이 PNAS 저널의 자매지 PNAS Nexus에 게재됐습니다. 일반적으로 전문가들이 쐐기 문자로 쓰인 아카드어(Akkadian)를 해독할 때는 각 문자의 의미를 파악해 문맥에 맞게 알파벳으로 옮기는 '전자(Transliteration)' 과정을 거친 후 영문으로 번역하는데요. 이 논문에서는 쐐기 문자를 바로 영문으로 번역하는 태스크(C2E)와 전자 과정을 거친 문장을 영문으로 번역하는 태스크(T2E)에 AI를 적용했습니다.

데이터셋으로는 쐐기 문자로 구성된 말뭉치 'ORACC'를 사용했고, 번역 모델에는 'Fairseq'와 'CNN'을 사용했다고 합니다. 문장을 완벽하게 번역하는 것은 불가능했지만, C2E와 T2E 태스크 모두에서 BLEU4 값이 베이스라인 수치보다 높게 나왔다고 하네요. 아직 해독되지 못 한 고대 문자도 많다고 하는데, 머지않아 AI가 해독할 수 있을까요?

• Meta Research LAB _7월 5일까지
• DR4R LAB 시즌3 LAB _7월 15일까지

• Knowledge graph & Large-Language Model LAB _7월 22일까지 #페이퍼샵(논문)

• 일시: 7월 11일 화요일 I 7:30PM - 8:30PM
• 장소: 모두의연구소 강남캠퍼스
• 연사:김성현(신한AI)
• 콘텐츠: 금융 데이터 구축 및 금융 도메인에서의 언어모델 학습과 적용 I 금융 AI 서비스 소개 I Q&A

• 스팸메일함에서 울고 있을지도 몰라요. 찾아가 확인해 보세요!
• 주소록에 모두의연구소 이메일 주소(modulabs01@gmail.com)를 추가해 주세요.