우리가 기억하는 챗GPT 는 텍스트를 입력하면 텍스트로 답을 해주는 챗봇. 하지만 지금 유료로 사용이 가능한 챗GPT 플러스는 훨씬 많은 일을 할 수 있어요. 이미지를 입력하면 이를 텍스트로 해석해주고, 텍스트를 입력하면 이걸 그림으로 그려주죠. 음성으로 대화할 수 있을 뿐만 아니라 영어, 일어, 한국어, 중국어 등 수개국어를 척척합니다. 이처럼 LLM(거대언어모델) 기반의 AI 가 텍스트뿐 아니라 이미지, 음성, 코딩까지 다양한 능력을 갖추는 것을 멀티모달리티라고 해요. 지난해 12월 공개된 구글의 제미나이도 가장 강조된 것은 이 멀티모달리티 능력.

아마존도 자체LLM 타이탄에 멀티모달리티 능력을 갖추는 방향으로 개발 중이고, 메타의 라마2도 점차 멀티모달리티 능력을 추가하게 될 것 같아요. 결국 챗GPT 나 제미나이와 경쟁을 하려면 이런 멀티모달리티 능력을 갖추는 것이 기본이 될 것 같아요. 텍스트를 넘어 방대한 이미지, 음성 데이터를 확보한 기업만이 가능한 일!

멀티모달리티는 인간이 AI 와 소통하는 방식에도 큰 변화를 가져올 전망이에요. 지금은 챗GPT 와 소통하기위해 하나하나 텍스트를 입력해야 했다면 AI 가 음성과 이미지를 인식하게 되면서 음성으로 명령을 내릴 수도 있고, AI 에게 직접 이미지를 보여줄 수도 있게 되었습니다.

지금 LLM 인공지능은 모델과 데이터를 비공개하는 AI와 이를 공개하는 AI 의 두개의 큰 개발 흐름이 있어요. 이를 기업소유AI (Proprietary AI)와 오픈소스AI (Open Source AI) 라고 부르는데요. 챗GPT, 구글, 미드저니 같은 것들이 기업소유 AI 이고, 메타의 라마2, 팔콘, 미스트랄, 스테이블디퓨전 같은 것들은 오픈소스AI 에요.

AI 를 학습시키는데는 많은 컴퓨팅 자원과 데이터가 필요하기 때문에 기업소유 AI 가 지금은 더 압도적인 경쟁력을 가지고 있어요. 하지만 오픈소스 진영에서도 빠르게 GPT3.5 수준을 넘는 LLM AI 를 개발하고 있어요. 올해에는 제미나이 프로나 GPT4에 근접한 성능의 오픈소스 LLM 들이 나올 것 같아요. 그리고 여기에 멀티모달리티 능력을 갖춘 AI 도 오픈소스 진영에서 나오겠죠.

오픈소스 AI 의 장점은 어디에 있을까요? 사실 개인 사용자라면 월20달러 구독료를 내고 챗GPT 를 쓰는 것이 편해요. 그런데 기업입장에서는 우리 회사에 맞는 맞춤형 AI 를 만들고 싶을 텐데 오픈AI 나 구글 같은 기업들이 제공하는 것을 쓸 수도 있지만 오픈소스를 가져와서 직접 만들 수도 있어요. 비용은 더 높을 수도 있지만 기업이 직접 자체적인 AI 를 소유할 수 있다는 것이 매력적인 부분이에요.

지금 화제가 되고 있는 생성형AI 는 2019년에 나온 구글의 트랜스포머 모델을 바탕으로 만들어졌어요. 특히, 언어모델의 매개변수를 크게 하면 할수록 성능이 좋아지는 현상이 나타나면서 반도체에서 ‘무어의 법칙’과 같은 빠른 혁신이 나타날 수 있었어요. 하지만 벌써부터 이런 트랜스포머를 기반으로 하는 AI 에 한계가 왔다는 지적도 나오고 있어요.

가장 앞선 LLM 이라고 할 수 있는 GPT 나 제미나이가 더 깜짝놀랄 성능을 보여줄 수 있을까요? 이미 실사에 가까운 그림을 그려내는 미드저니나 스테이블 디퓨전이 더 뛰어난 그림을 그릴 수 있을까요? 이미 사람들의 기대치가 한층 높아진 상황에서 더 놀라운 성능을 보여주려면 완전히 다른 모델이 나와야한다는 설명이 나오고 있어요. 마치 트랜스포머 모델이 과거 CNN 모델을 대체했던 것 처럼요. 맘바(Mamba)나 LNN(Liquid Neural Network)라는 모델이 대안으로 현재 나와있다고해요.

이런 점에서 2024년은 AI 의 한계에 대한 회의론이 나올 가능성이 높다고 해요. 시장에서 기대했던 것보다 AI 덕분에 매출이 늘어나지 않을 수도 있고, 의미있는 유스케이스가 나오지 않을수도 있죠. 그렇다면 그동안 AI 에 대한 기대감으로 올랐던 테크주들의 주가가 하락할 수도 있습니다!  

지난 주 뉴욕타임즈가 오픈AI 와 마이크로소프트에 수조원 규모의 소송을 제기하면서 저작권 이슈가 AI 의 중심으로 들어왔어요. LLM 은 인터넷 상의 수많은 텍스트를 학습하는데요. 오픈AI 가 뉴욕타임즈 기사를 무단으로 학습했고 이에 대한 적절한 보상을 지불하지 않았다고 주장했죠. 또한, 과거 검색에서는 뉴욕타임즈 사이트로 이동하면서 발생시킨 트래픽이 생성형AI 에서는 나오지 않는다는 점도 지적했어요.

이미 레딧이나 X(옛 트위터) 같은 곳은 자신들의 데이터를 무단으로 학습에 사용하는 것을 금지시켰죠.

이처럼 저작권 소송이 본격적으로 시작되면 LLM 을 만든 회사와 만들려는 회사 모두 비용 부담이 커지게 될 것 같아요. 그렇게 되면 이미 LLM 을 만든 회사보다는 새롭게 만들려는 회사의 부담이 더 커지겠죠. 저작권 소송은 결국 AI 학습에 사용되는 데이터의 가격이 오른다는 뜻일테니까요.

지난해 바이든 미국 대통령이 AI 행정명령을 내놓으면서 AI 에 대한 규제가 본격화되었는데요. 영국이나 EU 도 이런 규제 흐름에 동참하고 있어요. 하지만 아직까지 나온 AI 에 대한 규제는 효과를 내지 못하고 있는데요. 규제에서 말하는 성능에 아직 도달하지 못한 것도 있지만 본격적인 효력은 2024년 말부터 시작되기 때문이라고 해요.

사실 올해가 AI 규제에 정말 중요한 이유는 중요한 선거가 전세계 곳곳에서 열리기 때문. 1월에는 대만, 2월에는 인도네시아, 3월에는 러시아와 우크라이나, 4월 우리나라, 4~5월에 인도, 6월 유럽의회, 11월 미국에서 중요한 선거가 열려요. AI 로 만들어진 가짜뉴스와 이미지가 범람할 것이라는 우려가 커지는 가운데 AI 가 희생양이 될 것이라는 전망이 많아요.