Werner Vogels는 기술이 세상을 어떻게 변화시키고 있는지를 먼저 다루며, 연간 기술 전망에 대해 전체적인 비젼을 제시했습니다.

2024년에도 생성형 AI가 계속해서 혁신을 주도할 것이라는 점은 놀랍지 않게 언급되었으나 Vogels는 생성형 AI가 더욱 "문화적으로" 더 많이 알려질 것으로 예상했는데요, 이는 해당 기술이 더욱 다양한 범위의 데이터에서 사용이 가능해지며, 미묘하고 정확한 결과를 도출하게 됨에 따라 전 세계적으로 접근성과 유용성이 향상될 것이라고 밝혔기 때문입니다.

다만 그는 언어 모델에 따라 같은 질문에도 대답이 완전히 달라질 수 있음을 경고했는데요, 예를 들어 만약 '영어 중심의 언어 모델'에 "Isabel Allende의 책을 요약하도록 요청하면 '남미 콘텐츠에 대해 훈련된 모델'과는 매우 다른 대답이 나올 수 있을 것입니다.

참고 출처

💌 LLM 기반 시스템을 기반으로 한 문화적 활용의 예시

올해 초 조지아 공과대학교의 연구원들이 발표한 논문에 따르면, LLM에 이슬람 기도를 언급하는 아랍어 프롬프트를 입력하였을 때, 친구들과 함께 술을 마실 것을 추천하는, 문화적으로 적절하지 않은 응답이 생성되었다고 합니다. 이는 많은 LLM의 훈련에 사용되고 있는 커먼 크롤(Common Crawl)의 데이터의 약 46%가 영어이고, 서구적 특징히 강하며 특히 미국에 상당히 치우쳐 있기 때문입니다.

다만 동일한 프롬프트를 아랍어 텍스트로 사전 훈련시킨 모델에 사용했을 때는 차나 커피를 권장하는 등 문화적으로 적절한 응답이 생성되었는데요, 이를 통해 문화적 정확성을 갖춘 비서구권 모델을 통해 전 세계적으로 광범위한 분야에 영향을 미칠 수 있는 생성형 AI를 생성할 수 있게 될 것을 예측해 볼 수 있습니다.

무엇보다 언어와 문화가 같지 않다는 점을 명심해야 합니다. 번역을 완벽하게 수행할 수 있다고 하여 모델이 문화에 대한 인식을 갖췄다고는 말할 수는 없습니다. 무수히 많은 역사와 경험이 이러한 모델에 내재되는 것이 필요하고, 모델 간의 상호작용을 통해 다양한 문화적 개념에 대한 이해를 개선할 수 있을 것입니다. 

참고 출처

💡LLM(대형 언어 모델)이란?

LLM(대형 언어 모델)은 언어를 잘 이해하고 이러한 이해를 사용하여 특정 작업을 수행하는 소프트웨어입니다. 가장 일반적인 애플리케이션의 기능은 콘텐츠 생성, 정보 찾기, 질문에 답하기, 데이터 정리 지원 등이 있는데요, 대형 언어 모델은 주로 인간 언어를 대상으로 하지만 코드와 같은 다양한 기계어도 포함하고 DNA와 같은 유전 언어까지 다루기도 합니다. 

• 대형: 이는 대형 언어 모델이 엄청난 양의 데이터셋에 대해 학습되었음을 의미
  • 예) GPT-3(Generative Pretrained Transformer 버전 3)의 교육 데이터셋에는 1,750억 개가 넘는 매개변수와 45TB의 텍스트 데이터 세트가 포함되어 있음
• 언어: 언어를 기반으로 운영된다는 의미
• 모델: LLM이 데이터에서 정보를 찾거나 정보를 기반으로 예측하는 데 사용됨을 의미

참고출처

💡ML(기계학습)이란?

ML(기계학습)은 범용 프로그래밍 언어의 일종으로서, 프로그래밍 언어 분야의 핵심 연구 성과들을 잘 반영하면서도 실용적인 언어로 알려져 있습니다. 특히, 안전한 타입 시스템을 갖추고 있어 프로그램을 실행하는 중에 나올 수 있는 타입 에러를 실행하기 전에 미리 모두 찾아주는 특징이 있습니다.

• 메모리 재활용(garbage collection)을 통해서 자동으로 메모리를 관리
• 함수의 다형성(polymorphic functions)을 지원하여 타입과 상관 없이 실행할 수 있는 함수를 정의
• 대수적 자료형(algebraic data type)을 지원하여 상위에서 자료구조를 표현
• 값들의 패턴 매칭을 통해 간편하게 조건문을 제조
• 간단하고 강력한 예외 시스템으로 프로그램의 실행흐름을 편리하게 기획