지난 1년 동안 ChatGPT가 이뤄온 업적과 앞으로의 발전 방향에 대해 소개합니다. # 17 위클리 딥 다이브 | 2023년 12월 6일
에디터 배니 |
|
|
💡이번주 뉴스레터에는 이런 내용을 담았어요!
- ChatGPT의 발전 과정과 짧은 역사에 대해서 다룹니다.
- ChatGPT가 넓힌 연구 분야에 대해서 설명합니다.
- 앞으로 생성형 AI가 어떻게 발전해나갈지 짚어봅니다.
|
|
|
안녕하세요, 에디터 배니입니다.
지난해 빅테크 기업들은 저마다 유사한 챗봇 서비스들을 간간이 출시하고 있었습니다. 저 또한 매번 기대감을 가지면서 해당 모델들의 후기를 찾아 봤었는데요. 안타깝게도 할루시네이션이나, 윤리 문제 등을 극복하지 못하고 결국 역사 속으로 잊혀졌습니다.
그러던 중 지난 11월 30일 역사를 뒤바꿀 ChatGPT가 등장합니다. 초반에는 혹여 ChatGPT도 그러하지 않을까 반신반의 했는데 ChatGPT는 달랐습니다. ChatGPT를 먼저 써본 친구들의 생생한 증언을 듣고 따라 써보았는데요. 평소 찾기 어려웠던 모델의 구조 코드를 원하는 대로 생성해주는 것을 보고 감탄했던 기억이 있습니다.
아마 저뿐만 아니라 ChatGPT 서비스를 이용하고 있는 많은 분들이 유사한 경험이 있을 것이라고 생각합니다. 뛰어난 성능으로 산업 각 분야에 활용되며 자리를 잡아왔고, 그 기대감만큼 ChatGPT 성능 또한 빠른 속도로 발전해왔습니다. 많은 분들이 ChatGPT에 질문을 던지면 좋은 대답을 내놓는 것 정도로 생각할 것 같은데요. ChatGPT에는 다양한 기능들이 숨겨져 있고, 활용 방법은 생각보다 더 넓습니다.
오늘은 ChatGPT의 짧은 역사와 함께 연구 분야에서는 어떻게 활용되고 있는지 소개합니다. |
|
|
최초의 ChatGPT는 InstructGPT, 일명 GPT-3.5를 기반으로 합니다. GPT-3를 선보였을 때도 인간만큼 뛰어난 성능을 보유하고 있다고 밝혔습니다. 그만큼 악용 가능성이 높고, 법적, 기술적인 이유 등으로 GPT-3 모델을 공개하지 않았습니다. InstructGPT는 이런 GPT-3 모델에 채팅이라는 방법을 도입한 것입니다. 모델에게 텍스트 프롬프트 형태로 지시(Instruct)를 내리면 그에 맞는 답변을 '잘' 내놓도록 만든 것이었죠.
그리고 지난 3월, GPT-4를 선보입니다. ChatGPT의 열풍에 가세하여 차원이 다른 모델을 공개하면서 동시에 유료 플랜을 도입합니다. 이런 결단은 지금까지 OpenAI를 비롯한 많은 AI 기업들의 행보와 사뭇 다릅니다. AI 분야는 오픈 소스를 기반으로 성장해왔는데, GPT-4는 모델의 원리와 구체적인 실험과정조차 공개하지 않고 기술 보고서(Technical Report)라는 이름으로 연구 성과를 소개합니다. 때문에 아직도 GPT-4가 몇 개의 파라미터를 갖는지는 여전히 미스테리입니다.
또한 ChatGPT에 플러그인을 도입하면서 내재적인 한계를 극복하고자 했습니다. 최신 정보(발송일 기준으로 2023년 4월 정보까지)를 활용할 수 없다는 문제를 해결하고자 검색된 결과를 참고하여 답변할 수 있도록 RAG* 플러그인을 도입하기도 하고 그외에 특정한 목적을 달성하기 위한(ex. 수학 문제 풀이, 여행 계획 세우기 등) 플러그인 서비스를 도입하기도 했습니다. |
|
|
✏️ RAG(Retrieval-Augmented Generation)
RAG는 대규모의 문서나 데이터베이스에서 관련 정보를 검색하고, 검색한 정보를 기반으로 답변을 생성하여 언어 생성 모델의 성능을 향상시키는 생성 방법을 의미합니다. 이 접근법은 주로 관련된 정보를 검색하는 과정과 그에 따라 적절한 답변을 생성하는 과정으로 구성됩니다.
첫 번째 단계에서, RAG는 주어진 질문이나 프롬프트에 대해 관련 정보를 검색하는 검색 엔진을 사용합니다. 이 검색은 관련된 문서나 데이터를 찾기 위해 대규모의 데이터베이스를 활용합니다.
두 번째 단계에서, 이 검색된 정보를 사용하여 보다 정확하고 상세한 답변을 생성합니다. 이 과정은 기존의 언어 모델이 가지고 있는 한계를 극복하고, 보다 정확한 정보에 기반한 응답을 생성할 수 있게 합니다. |
|
|
아무리 GPT-4가 도입됐다고 해도 ChatGPT도 이전에 공개된 다른 언어 모델들처럼 할루시네이션과 윤리 문제는 여전히 문제점으로 지적됐습니다. 이때부터 ChatGPT는 여러 번 업데이트를 거쳐 부적절한 질문과 답변에 대한 기준을 세워 피해 양산을 방지하여 현재는 작정하고 뚫어내지 않는 이상 부적절한 답변을 이끌어내기는 어려워보입니다.
이러한 한계점을 어느 정도 극복하고, 서비스를 압도적인 1등에 자리시킨 뒤에 OpenAI의 CEO 샘 올트먼은 세계 각국의 고위인사들을 만나면서 생성형 AI에 대한 발전 방향과 규제에 대해서 논의했습니다. 그는 우리나라에도 지난 6월에 방문하여 간담회를 가지기도 했습니다.
그리고 이제는 완전히 새로운 형태의 ChatGPT로 변모했습니다. 짤막한 프롬프트 기반으로 구체적이고 상세한 프롬프트와 고품질 이미지를 생성해내는 DALL·E 3와 코드 인터프리터, 그리고 Bing 브라우저 기반 웹 검색 기능까지 통합되면서 이제는 여러 모델을 둘러볼 필요 없이 ChatGPT가 많은 것을 해냅니다. |
|
|
GPTs에서 지시 사항(Instructions)을 입력하여 새로운 GPT 모델을 개발한 모습
ⓒ deep daiv.
심지어 OpenAI가 그리고 있는 미래를 보면 더더욱 ChatGPT의 입지는 굳어질 수밖에 없는데요. 범용적으로 활용되던 ChatGPT의 한계를 극복하고자 많은 언어 모델들은 '특정한 단일 작업'에 대해 특화되어 출시되었는데요. 이제는 GPTs까지 선보이면서 특정 작업이 가능하도록, 그것도 프롬프트만을 이용해서 개발이 가능하도록 만들었습니다. ChatGPT는 앞으로 다양한 GPT 모델들이 앱 서비스처럼 활용되는 시장을 꿈꾸고 있나 봅니다. |
|
|
ChatGPT가 많은 언어 모델이 극복하지 못한 문제들을 단숨에 집어삼켰습니다. 다르게 말하면 기존에 언어 모델을 연구하던 연구자 입장에서는 연구 의의가 크게 달라질 수 있다는 것이죠. 이는 자연어 처리 분야의 언어 모델 관련 연구의 방향성이 달라졌다는 것을 의미하기도 합니다. ChatGPT 이후 등장한 NLP 분야의 연구 방향에 대해 몇 가지 소개합니다.
프롬프트 엔지니어링
최근에는 언어 모델의 능력을 극대화할 수 있는 프롬프트 엔지니어링 연구가 눈에 많이 들어옵니다. 프롬프트 엔지니어링 단계는 우리에게 흔히 알려진 것처럼 단순히 '어떤 문장을 입력했더니 성능이 비약적으로 개선됐구나'라고 하는 것이 아니라, 이제는 어떻게 정보를 조직하고 전달해야 원하는 정보를 얻을 수 있을까에 초점을 맞추고 있습니다. ( Tree of Thoughts, Graph of Thoughts 논문을 참고해보세요!) |
|
|
Graph of Thoughts에서 소개한 프롬프트 전략 비교
출처: <Graph of Thoughts: Solving Elaborate Problems with Large Language Models> (Besta et al., 2023)
PEFT(Parameter-Efficient Fine-Tuning)
언어 모델의 파라미터 수가 너무 크기 때문에 일반인들은 모델을 학습시키기 어렵습니다. 때문에 모델을 경량화하거나 비용을 획기적으로 줄이면서 파인튜닝하려는 방법론들이 많이 제시되고 있습니다. 그중 대표적인 방법론인 LoRA(Low-Rank Adaptation)는 모델의 모든 가중치를 재학습하는 대신 중요한 가중치만을 낮은 차원의 랭크 행렬로 분해하여 최적화함으로써 학습 시간과 비용을 크게 절약합니다. (지난 5월 공개된 QLoRA 논문을 참고해보세요!)
GPT 생성 데이터셋
마지막으로 GPT API로 대량의 데이터를 생성해 진행한 연구들에 대한 성과입니다. GPT-4의 성능이 워낙 뛰어나다보니, 별도의 레이블링이나 Insturct-Output 쌍을 만드는 작업 없이 GPT에게 요청하여 많은 양을 단기간에 수집합니다. 그렇다면 이렇게 수집한 데이터의 성능이 중요할 텐데요. 이 성능을 검증하는 연구들, 그리고 어느 정도의 학습량이면 충분한지 실험해보는 연구들이 발표되고 있습니다. |
|
|
우리는 이미 ChatGPT가 변화시킨 세상에 살고 있습니다. 1년이면 이렇게 많은 것들이 달라질 수 있다는 것을 몸소 깨닫는 중입니다. 개인적으로는 교육 분야에 대한 지각 변동이 예상되기도 합니다. 이미지 AI로 영어 스피킹을 도와주는 어플은 상용화가 되었고 코드 개발 분야 등에도 계속해서 접목되고 있습니다.
앞으로는 더욱 격변의 시대가 될 것입니다. 생성형 AI의 서막이 올라갔고, 이제는 각종 분야의 AI가 세계를 상대로 도전장을 내밀 것입니다. 소수만이 살아 남을 이 시장에서, ChatGPT를 능가할, 그리고 대적할 모델들은 무엇일지 미래에 대한 기대감이 더욱 높아집니다.
|
|
|
Humans of daiv. #9 김서진
인생이라는 긴 단어를 어떻게 표현할 수 있을까요? 물처럼 고요한 시간도, 가슴 뛰던 순간들도 모두 지나갈 뿐입니다.
영화에는 다양한 순간들이 뜨겁게 녹아들어 있습니다. 사람들은 저마다의 경험과 관점이 다르기에, 각자의 방식으로 받아들입니다. 영화가 끝나는 순간, 여러분은 어떤 장면을 떠올리고 싶으신가요. 자신만의 영화를 써 내려가고 있는 김서진을 만나 보았습니다.
|
|
|
SNS를 팔로우 하면
최신 소식을 가장 빠르게 확인하실 수 있습니다 😆 |
|
|
deep daiv.
manager@deepdaiv.com
|
|
|
|
|
