생성형AI 지도를 그려봤습니다(feat.하이퍼엑셀)

2024.4.18 | 740호 | 구독하기 | 지난호

글씨가 잘 안보이시나요?

목요일에 인사드리는 미라클레터입니다😅. 지난주 인공지능(AI) 업계에서 뜨거웠던 소식 중 하나는 바로 ‘반 엔비디아 연대’였습니다.

생성형 AI 시대, AI 가동에 필수 장비로 떠 오른 그래픽카드(GPU)를 앞세운 엔비디아가 해당 시장에서 점유율을 높여 나가자 테크 기업을 중심으로 이에 대항하는 연합이 결성되고 있는데요, 한국 기업들 소식도 들려옵니다.

네이버가 인텔과 협력했다는 소식, 엔비디아가 삼성전자의 반도체를 테스트하고 있다는 소식, SK하이닉스는 ‘방긋’ 웃고 있다는 소식 등.

2022년 말부터 시작된 생성형 AI가 전 산업을 휩쓸면서 마이크로소프트(MS)와 오픈AI, 엔비디아에 관한 뉴스가 쏟아지고 있어요. 새로운 시장이 탄생할 때 나타나는 기업 간 ‘합종연횡’도 가속화되고 있는 것 같고요.

그런데 저 같은 일반인 입장에서 이러한 소식을 듣고 있으면 헷갈립니다. 누구는 웃고, 누구는 울고, 누구와 손을 잡고 ‘반’ 전선을 형성하고...

그래서 준비했습니다. 이번 편지에서는 생성형 AI 와 관련된 ‘지도’를 만들어 봤어요. 거창하게 ‘지도’라는 표현을 썼지만 생성형 AI, 그리고 AI 반도체와 관련해 어떤 기업이 누구와 협업하고 있는지 등을 그림으로 표현한 겁니다.

새로운 내용이 있는 것은 아니지만 현재 AI 산업에서 기업들의 움직임을 조금 편하게 보실 수 있게 만들어 봤습니다.

또한 이번 레터에서는 거대언어모델(LLM) 기반의 AI 반도체 칩을 개발한 국내 스타트업 ‘하이퍼엑셀’의 김주영 대표 인터뷰도 짤막하게 실어봤습니다. 편하게 봐주세요!

오늘의 에디션

생성형 AI 시장(MS와 오픈AI)
AI 반도체, 엔비디아의 독주
AI 반도체의 의미(하이퍼엑셀)
반 엔비디아 연합은 성공할까
한 줄 브리핑

PPT로 뚝딱 만들었습니다. 디자인 욕하지 말아주세요...

생성형 AI 서비스 시장(MS와 오픈AI의 독주)

먼저 생성형 AI 서비스와 관련해 협력하고 있는 기업들을 묶어봤습니다. 챗GPT 개발로 해당 시장을 이끄는 오픈AI, 그리고 오픈AI에 대한 전략적 투자를 이어간 MS의 연합이 상당히 많은 기업과 협력하고 있는 것을 확인할 수 있었어요.

오픈AI, MS와 협업 기업은 너무 많아 그림에 다 담지를 못했는데요. 미국에서 AI를 가장 많이 검색하는 주가 ‘캘리포니아’라는 조사가 지난해 있었어요(기사). 생성형AI와 관련해 가장 많이 검색한 키워드는 ‘챗GPT’ 였습니다. 선점 효과라는 게 이렇게 무섭습니다. 구글, 메타, 아마존 등이 “우리 생성형 AI가 챗GPT보다 낫다!”라며 ‘패스트 폴로어’로서의 모습을 보여주고 있지만 챗GPT를 따라가지는 못하고 있는 것 같아요.

MS와 오픈AI의 독주(!)가 이어지다 보니 이에 대항하기 위한 반 연합 움직임도 가속화되고 있습니다(자료). 메타와 IBM, 인텔, 퀄컴 등의 기업 등은 ‘AI 얼라이언스’를 결성합니다. 여기에는 미항공우주국(NASA)을 비롯해 힉스입자를 발견한 유럽입자물리연구소(CERN)와 미국의 여러 대학 등 연구기관들이 대거 참여했어요.

국내 기업 중에서는 카카오가 눈에 띕니다. 이 연합은 AI 오픈 소스 협력을 통해 안전한 AI를 만들어 가겠다는 목표를 세웁니다. 즉 소스를 공개하지 않고 자신만의 ‘왕국’을 만들려는 챗GPT와는 다른 방식으로 AI 협력을 하겠다는 것입니다.

누구나 AI에 접근할 수 있도록 함으로써 다양한 분야에서 AI 개발을 이끌고, 한두 개의 기업(MS와 오픈AI)이 AI 시장을 좌지우지하는 것을 막겠다는 계획이에요. 이 연합을 두고 오픈AI와 MS의 독주를 막으려는 움직임이라는 분석이 나오고 있어요. AI 기술을 보유했지만 챗GPT의 아성을 깨기 어렵다고 판단한 기업들이 힘을 합쳤다는 설명도 나옵니다.

MS는 오픈AI에 대한 투자를 통해 생성형 AI 시장에서 존재감을 보여줍니다. 많은 기업이 MS와 협업을 통해 생성형 AI 서비스 시장에 진출하려는 의사를 밝히고 있는데요, 당연히 빅테크 기업 입장에서는 신경이 쓰였을 겁니다. 구글과 아마존의 움직임이 이를 보여줍니다. 구글, 아마존은 오픈AI의 대항마로 불리는 ‘앤스로픽’에 대규모 투자를 하며 MS에 대항하고 있어요.

"우리가 최고" [사진=샘 올트먼 X]

오픈AI를 막아라, 빅테크 기업들 '엔스로픽'에 투자
아시다시피 앤스로픽은 오픈AI 개발자들이 나와서 만든 스타트업이에요. 챗GPT의 라이벌로 불리는 ‘클로드’를 출시했는데요, 아마존은 앤스로픽에 지금까지 약 40억 달러, 우리 돈 5조4000억원을 투자합니다(기사). 아마존은 여러 스타트업에 투자하고 있는데, 짧은 시간에 이렇게 많은 돈을 투자한 것은 앤스로픽이 처음이라고 하네요. 아마존은 투자는 하되 이사회에는 참가하지 않는다고 합니다.

MS와 오픈AI의 관계와 비슷하죠. 구글도 마찬가지 이유로 앤스로픽에 과감한 투자를 합니다. 앤스로픽이 최근 1년간 투자받은 금액은 73억 달러, 우리 돈 10조원이 넘습니다.

완성차 업체들의 움직임도 분주합니다. 생성형 AI를 적용하려는 움직임을 시작했는데요, 개인적인 생각으로는 대부분의 완성차 업체가 검토하고 있을 것 같아요. 현대차도 마찬가지고요. ‘AI 비서’에 관련 서비스를 적용할 것 같습니다. 이전에 차량에 적용된 ‘음성 비서’, 혹시 써보셨나요? 기술이 점점 나아지고 있다고는 하지만 답답한 게 이만저만이 아닙니다. 생성형 AI를 이용한다면 이러한 불편을 크게 줄일 수 있는 만큼 완성차 업체들의 관심은 커질 것으로 보여요.

생성형 AI 시장을 연 챗GPT. 누구보다 많은 사람이 사용하고 있고, 또 GPTs 서비스 등을 토대로 해당 시장을 리드하고 있습니다. 당연히 많은 기업이 MS, 오픈AI와 손잡고 생성형 AI를 자사의 서비스에 탑재하려고 하고 있고요. 과연 구글, 메타, 아마존과 같은 기업들이 MS와 오픈AI가 쌓고 있는 아성을 무너뜨릴 수 있을까요.

AI 반도체 시장은 너무 복잡합니다😥. 단순화해서 표현한만큼 오류가 있을 수 있어요! 기업들의 움직임만 느껴보세요!

AI 반도체 시장(엔비디아의 독주)

생성형 AI가 화두로 떠오르면서 엔비디아는 ‘갓’ 비디아가 됐습니다. 엔비디아가 보유한 GPU 때문이라는 거, 모르시는 분이 없을 것 같아요. 이미 생성형 AI가 주목받기 이전부터, 엔비디아는 AI 시대에 가장 주목받는 기업으로 회자하곤 했습니다. 구글의 알파고가 이세돌 9단을 무찔렀던 사건 기억하시죠. 2016년 당시 알파고의 스펙에서 가장 눈에 띄었던 것이 바로 GPU였어요. 알파고에는 CPU 1202개, GPU 176개가 탑재돼 있었거든요(이때 GPU를 보고 엔비디아 주식을 샀어야...).

GPU는 단순 연산 작업을 매우 빠른 속도로 해냅니다. CPU가 똑똑한 사람 1명이 명령을 내리른 체계라면 GPU는 1000명의 직원을 두고 단순 연산 작업을 시키는 것이라고 표현해야 할까요. “5+5를 계산해봐!”라는 명령어는 GPU보다 CPU가 더 빠르게 할 수 있었습니다. 하지만 셀 수 없을 만큼 많은 데이터의 연산은 CPU로 한계가 있었습니다. 이때 GPU가 등장합니다.

AI 시대, GPU가 뜨고 있었는데 갑자기 생성형AI 시대가 열립니다. 오픈AI가 개발한 챗GPT의 핵심은 바로 GPU였는데요, 결국 구글, 메타 등의 거대 정보통신 기업들이 GPU를 기반으로 한 생성형 AI 서비스를 내놓으면서 GPU 가격이 폭등합니다. 미 정부는 GPU를 중국이나 러시아 수출을 제한하는 일이 발생할 정도 핵심 하드웨어가 돼요(기사).

그리고 또 하나, 엔비디아의 ‘쿠다’도 중요합니다. 쿠다란 GPU 연산이 가능하게 만들어주는 컴퓨팅 플랫폼이라고 보면 되는데요, 개발자들은 쿠다를 통해 GPU에 접근, AI를 효과적으로 활용할 수 있습니다.

엔비디아가 만든 GPU가 AI 연산의 핵심이 된 상황에서, 개발자들 또한 쿠다를 이용하면 GPU에 손쉬운 접근이 가능한 거죠. 2006년 엔비디아가 100억 달러를 들여 개발한 쿠다는 무료로 배포되고 있습니다. AI 칩 설계를 위한 필수품으로 불려요. 쿠다는 엔비디아의 GPU에서만 작동합니다. GPU, 쿠다를 통해 엔비디아는 자신들의 생태계를 견고하게 만듭니다.

엔비디아의 GPU, 쿠다를 막아라
생성형AI 시장에서 MS와 오픈AI에 대항하는 연합이 결성됐다면, 이 시장에서도 마찬가지입니다. 엔비디아의 쿠다를 깨기 위해 인텔, 퀄컴, 구글 등을 중심으로 지난해 UXL재단이 만들어집니다(홈페이지). 쿠다에 대응하는 오픈소스 형태의 플랫폼 개발을 하고 있어요. 쿠다가 GPU에서만 작동된다면, UXL 재단은 모든 기계에서 작동하는 플랫폼을 만들고 있습니다.

‘AI 반도체’ 이야기 많이 들어보셨을 텐데요, 이 시장은 여러 스타트업이 도전장을 내민 분야이기도 합니다. 짤막하게 정리해 볼게요. 이 분야가 워낙 어렵고 복잡한지라 단순화를 많이 했는데요, 행여라도 오류가 있다면 언제든 알려주세요!

반도체는 도체와 부도체의 성질을 함께 가지고 있는 물질입니다. 즉 전기를 흐르게 하거나, 흐르지 못하게 함으로써 전자기기를 사용할 수 있도록 합니다. AI 반도체란 AI 서비스를 구현하기 위해 요구되는 데이터, 알고리즘을 처리하는 반도체입니다(자료).

"따라올테면 따라와봐" [사진=엔비디아]

AI 서비스가 확대되면서 학습이나 추론에 최적화된 전용 반도체 필요성이 커졌고, 이에 따라 AI 반도체에 관한 관심이 높아지고 있습니다. AI 반도체는 AI 학습용(learning)과 추론용(Inference)으로 크게 구분이 돼요. 학습용은 많은 데이터를 통해 지식을 습득하는 과정, 추론용은 학습한 내용을 토대로 최적의 결과를 내는 단계라고 볼 수 있어요.

AI 반도체는 크게 정보를 저장하는 D램과, D램을 쌓아 만든 HBM, GPU 등으로 구성됩니다. 여기에 ‘두뇌’ 역할을 하는 AI 가속기가 필수인데요, AI 가속기는 AI 추론에 특화된 칩이라고 보시면 됩니다. AI 반도체가 모여 AI 서버를, AI 서버가 모여 AI 데이터센터가 만들어집니다. 　

올트먼, 손정의... 시작된 '쩐'의 전쟁

AI 반도체 분야에서도 엔비디아가 가장 앞서 있다는 평가입니다. 시장 점유율도 80%에 달한다고 해요(기사). 여러 기업이 생성형 AI를 자사의 서비스에 적용하면서 이러한 쏠림 현상은 이어질 전망입니다. 이를 가만히 두고 볼 수 없겠죠. 인텔, AMD, MS 등 기업들이 너나 할 것 없이 AI 반도체를 개발하며 엔비디아의 아성에 도전하고 있어요.

오픈AI도 가만히 있지 않습니다. 샘 올트먼 오픈AI CEO는 올해 초 반도체 제조를 위해 “9000조원에 달하는 투자를 하겠다”는 말을 하기도 했고(👉샘 올트먼은 7조 달러로 뭘 하고 싶은 걸까), 소프트뱅크 역시 130조원의 펀딩을 추진하고 있어요. 코드명 ‘이자나기’입니다. 이자나기는 일본에서 ‘생명과 창조의 신’이라고 해요(기사).

엔비디아 중심의 AI 반도체 시장을 깨려는 빅테크 기업의 합종연횡, 그리고 투자. 과연 3~5년 뒤, AI 반도체 시장은 어떤 변화가 있을까요.

(사진 교체)김주영 하이퍼엑셀 대표는 2012~2019년 마이크로소프트(MS)에서 하드웨어 엔지니어로 일하다 KAIST 교수로 부임했습니다. 이어 2023년 초, 하이퍼엑셀을 창업합니다.

어려운 AI 반도체, AI 반도체의 의미는?

생성형AI와 관련된 레터를 준비하면서 가장 먼저 떠오른 기업은 바로 한국의 스타트업, 하이퍼엑셀이었습니다. KAIST 전기전자공학부 김주영 교수가 설립한 하이퍼엑셀은 거대언어모델(LLM)에서 GPU대비 최적화된 AI 반도체를 개발한 기업이에요.

보다 정확히 이야기하면 트랜스포머 기반의 LLM 추론 전용 4나노 AI 반도체 개발에 성공한 기업입니다. 상당히 어렵습니다😥. 조금 풀어볼게요.

하이퍼엑셀의 AI 반도체는 ‘특별’합니다. 트랜스포머 모델에 특화되어 있다는 점 때문이에요. 2017년 구글의 트랜스포머 모델이 등장하기 전까지 AI는 대부분 CNN(합성곱 신경망), RNN(순환 신경망) 모델이었습니다.

AI의 분야에 속하는 ‘머신러닝’, 머신러닝 분야의 하나인 ‘딥러닝’, 그리고 딥러닝은 '인공신경망'을 기초로 만들어집니다. 이 인공신경망은 ANN, DNN, CNN, RNN 등으로 구분되는데요, 많은 AI는 이러한 모델을 기반으로 만들어 졌다고 해요.

지금은 트랜스포머 모델이 초거대 AI 분야에서 압도적인 성능을 자랑하고 있어요. 트랜스포머에서 잘 돌아가는 '추론용' 칩을 하이퍼엑셀이 개발했습니다. 하이퍼엑셀은 2023년 1월 설립됐습니다. 2022년 11월 챗GPT의 등장과 함께 생성형 AI가 주목받기 시작한 상황에서 LLM에 특화된 AI 반도체를 만든거죠.

하이퍼엑셀의 AI 반도체는 AMD 본사 POC를 완료하고 삼성 리서치 인도법인, LG AI 연구원과도 POC가 진행되고 있다고 해요. 튜터러스랩스, BHSN 등과의 POC도 진행되고 있습니다.

추론에 최적화된 AI 반도체 개발
🧐원호섭 기자(원 기자) = 반갑습니다. 너무 어려운 용어가 가득한 AI 반도체, 하이퍼엑셀은 무엇을 개발하고 있나요.
👨‍🔬김주영 대표(김 대표) = 챗GPT와 같은 AI 모델은 연산량이 엄청납니다. 이에 대응할 반도체로 GPU를 꼽습니다. GPU가 AI 반도체 활용에 쓰이지만 LLM에 ‘최적화’된 것은 아닙니다. 하이퍼엑셀은 여기에 집중했어요. 즉 LLM에 최적화된 AI 반도체를 개발한다면, 특히 학습용이 아닌 추론용에 특화된 AI 반도체를 개발한다면 시장성이 있다고 봤습니다. 이러한 생각을 기반으로 대역폭을 높인(대역폭을 높이면 많은 정보를 빠르게 소환, 학습과 계산을 할 수 있습니다) AI 반도체를 개발했어요.

🧐원 기자 = 너무 어렵습니다...
👨‍🔬김 대표 = AI나 반도체 등 용어도 어렵고 이쪽 업계에 계신 분들이 아니라면 이해하기가 쉽지 않은 게 사실입니다. 조금 쉽게 표현하자면, GPU를 비롯해 기존 AI 반도체는 생성형 AI를 구동할 수 있습니다. 하지만 최적화되어 있다고 보기는 힘들어요. GPU의 문제점은 전력 소모량이 많고 비싸다는 점이에요. 우리는 LLM에 최적화된 AI를 개발해 이러한 문제를 해결할 수 있음을 보여주고 있습니다. 저희가 개발한 AI 서버 가속기 '오리온'을 사용하면 GPU 대비 가격 효율성을 2.4배 높일 수 있어요.

🧐원 기자 = 생성형 AI를 기업이 활용하려면 GPU가 필요한데, 그 GPU를 대체할 수 있다, 이런 말이죠?
👨‍🔬김 대표 = 정확히 말씀드리면 '대체'라기 보다는 최적화해 사용할 수 있습니다. GPU가 학습에 최적화됐다면 우리가 만든 반도체는 추론에 효과적이에요. 물론 GPU로도 추론을 할 수 있지만 가격, 발열, 전력 등을 고려하면 좋은 선택은 아니라고 생각해요. 저희는 이러한 반도체를 4nm 공정을 이용해 만드는 데 성공했어요. LLM에 최적화된 AI 반도체를 4nm로 개발한 것은 국내에서 처음입니다. 이제는 본격적으로 양산 제품화를 준비하고 있어요.

🧐원 기자 = 국내에도 많은 AI 반도체 기업이 있는데, LLM 최적화가 하이퍼엑셀의 강점이라는 거죠?
👨‍🔬김 대표 = 네 맞아요. 챗GPT가 출시되기 전부터 저는 LLM이 AI 시장을 흔들 것이라고 생각했습니다. 관련 AI 반도체를 개발하는 과정에서 챗GPT가 출시가 됐고요. 이듬해 곧바로 창업했어요. 그리고 같은 해에 PoC를 했고요. 숨 가쁘게 달려왔는데, 향후 3년 안에 AI 반도체 시장은 결판이 날 것이라는 생각이 들어요. 많은 빅테크가 이 시장에 뛰어들고 있는 상황에서 투자금도 많아질 것이고, 기술 개발 속도도 빠르게 진행될 겁니다. 그 과정에서 하이퍼엑셀은 독보적인 기술력을 보여줄 수 있으리라 자신해요.

🧐원 기자 = 하이퍼엑셀의 기술이 적용된다면, 미래는 어떻게 바뀔 수 있을까요.
👨‍🔬김 대표 = 많은 테크 기업이 생성형 AI를 활용하고 싶어하지만 말씀드렸다시피 비용 문제로 확장하기가 쉽지 않아요. 하이퍼엑셀의 AI 반도체가 본격적으로 상용화된다면 많은 기업이 지금보다 저렴한 가격으로 생성형AI 서비스를 활용할 수 있을 거에요. AI 개발 속도는 이에 따라 더욱 더 가속화될 것이고요.

하이퍼엑셀이 개발한 오리온(가속 서버)

반(反) 엔비디아 전선, 성공할 수 있을까

🧐원 기자 = 엔비디아가 GPU를 기반으로 시장을 독점하다시피 하고 있어요. 빅테크 기업들은 이에 대항하고 있고요. 이 과정에서 AI 반도체 스타트업도 많아지고 있습니다. AI 반도체 구현, 상당히 어려운 일 같은데, 스타트업이 성장할 수 있는 이유가 있을까요.

👨‍🔬김 대표 = 기존의 반도체 시장은 CPU는 인텔, 메모리는 삼성과 같은 공고한 세력이 있어 스타트업이 비집고 들어갈 만한 기회가 없었습니다. 하지만 AI 가 세상 전체를 바꾸는 주요한 워크로드가 되자 결국에 그것을 빠르고 효율적으로 처리할 수 있는 새로운 반도체가 필요로 된 것이지요. 이에 더해, 기존 하드웨어 제조 기업들이 AI 모델과 알고리즘의 급격한 발전을 쫓아가기 힘들게 되었습니다. 따라서 AI 모델과 알고리즘을 잘 알면서 새로운 반도체에 기회를 본 (저희 같은) 스타트업이 많이 생겨났습니다. 새로운 기회에 아무래도 발 빠르게 움직인 것은 스타트업이고, 또 시장 자체도 빠르게 변하면서 대기업들이 빠르게 대응하지 못하고 있는 것 같습니다.

🧐원 기자 = 현재 반 엔비디아 전선이 구축되고 있어요. 이들의 노력, 시도. 과연 성공할 수 있을까요.

👨‍🔬김 대표 = GPU는 그래픽 처리 때부터 병렬처리에 굉장히 특화된 프로세서이기 때문에, 여러 입력을 항상 함께 넣을 수 있는 모델 학습 과정에서 굉장히 효과적인 플랫폼이라고 할 수 있습니다. 하지만 만들어진 모델을 이용하여 여러 분야에서 서비스하는 추론 분야는 조금 다르다고 할 수 있습니다. SLM(Small Language Model)이라고 해도 기존의 CNN, RNN과 같은 딥러닝 모델보다는 매우 큰 모델이고 메모리 관련 연산이 많기 때문에 연산기를 많이 포함하고 있는 GPU에는 비효율적입니다(대부분의 연산기가 놀고 있음).

그렇기 때문에 이에 특화된 NPU(특히 LLM에 특화된 LPU)를 사용함으로써 추론 서비스에 드는 비용과 전력을 크게 줄일 수가 있습니다. 서비스 시장에는 결국 비용과 전력이 핵심이기 때문에 LPU 중심으로 추론칩 시장이 형성될 수 있다고 생각해요. 또한 반도체를 다량으로 구매하는 많은 서비스 기업(구글, MS, 네이버 등)에서 엔비디아 독점을 반대하고 있기 때문에 시장에서 상품성이 있는 제품이 나온다면 독점시장은 깨질 것이라 생각합니다. 리사 수의 뛰어난 리더십이 있었기는 하지만 인텔의 수십년 간의 CPU 독점을 깬 AMD CPU의 약진을 보시면 독점에 대한 전체 생태계의 저항을 알 수 있습니다.

🧐원 기자 = 향후 AI 반도체 시장은 어떤 방향으로 재편될 것으로 보시나요.

👨‍🔬김 대표 = 이전에는 하드웨어는 하드웨어 기업이, 소프트웨어는 소프트웨어 기업이 만들고 둘은 협업하는 모델이 주요했었습니다(인텔-MS 연합). 하지만 최근에는 서비스와 데이터를 소유한 빅테크 회사(구글, MS, 아마존 등)들이 자신들의 서비스 비용을 줄이기 위해 자체 칩을 만들려고 하고 있습니다. 저는 AI 반도체 시장이 크게 세 가지 정도의 흐름이 생겨날 것 같습니다.

🧐원 기자 = 이런 정리 좋습니다! 하나, 둘, 셋!

👨‍🔬김 대표

빅테크 자체 반도체 개발 = 풍부한 자금과 고객이 있는 빅테크 회사들이 서비스부터 SW, HW까지 모든 Vertical Stack을 자체적으로 소유하는 것인데요, 이렇게 함으로써 외부 의존 없이 서비스의 성능과 가격을 모두 개선할 수 있습니다.
세계적 기업들의 팹리스 의뢰 = 현대차, 네이버 등도 자체팀을 꾸려 반도체 개발을 시도하였으나 난항을 겪고 있고, 이들 기업은 텐스토렌트, 그로크, 저희 하이퍼엑셀과 같은 팹리스 기업에 맞춤형 추론칩을 의뢰할 가능성이 큽니다. 설계 자산이라고 불리는 IP를 사서 SOC 를 개발하거나 아니면 추론칩 전체를 개발 의뢰하는 경우가 있습니다.
나머지 회사 = 자금이 부족하거나 최신 기술 기업이 아닌 기업들은 새롭게 출시된 가성비가 좋은 추론 제품을 선택하여 사용할 거예요.

재편되는 AI 반도체 시장

🧐원 기자 = AI 반도체 시장이 재편되고 10년 뒤의 미래, 어떻게 바뀔 것으로 보세요?

👨‍🔬김 대표 = 지금 반도체는 트랜지스터의 물리적인 한계에 의하여 약 1.5년 마다 반도체 성능이 2배가량 향상된다는 무어의 법칙 깨지고 있습니다. 이제 반도체의 성능 향상을 위해서 남은 길은 '특화' 반도체 밖에 없습니다. 특화 반도체란 주어진 기능만을 할 수 있지만 그 업무에 대해서는 다른 반도체보다 10배 이상 효율적으로 처리할 수 있는 반도체를 말합니다. 저는 앞으로 AI컴퓨팅 시장이 특화 반도체로 진화할 것이라고 생각합니다. 실례로 모델 학습은 GPU, LLM 추론 연산은 LPU, 비전 연산은 NPU, 이런식으로 특화, 분화되어 전체적으로 컴퓨팅 성능을 끌어올리게 되는 것입니다.

🧐원 기자 = 이러한 시장에서 하이퍼엑셀이 가진 강점은 무엇일까요.

👨‍🔬김 대표 = 저희 하이퍼엑셀에서 개발 중인 LPU는 LLM 특화 반도체로써 LLM 추론 연산에 가장 중요한 메모리 대역폭을 극단적으로 활용할 수 있는 프로세서입니다(예를 들어 GPU가 주어진 대역폭의 60%밖에 활용하지 못한다면 저희 LPU는 90%가까이 활용 가능합니다). 또한 여러 번의 POC를 통해 LLM 서비스에 필요한 다양한 요구 사항들을 설계에 반영하고 있습니다.

(아래는 대표님의 워딩을 그대로 땄습니다. 이쪽 업계에 계신 분들만 이해가 가능하리라 봅니다...)

예를 들어 다음 버전 LPU는 인풋, 아웃풋을 동시에 처리할 수 있는 토큰 배칭이 지원되고, 중간에 생성되는 Key, Value 값을 효율적으로 저장할 수 있는 Paged Attention 기술을 지원합니다. 모델로는 최신 LLM 모델인 GPT, Llama, Mistral, Phi, Falcon, Solar, EXAONE 등을 모두 지원하면서, 멀티모달 이미지 생성을 위한 Diffusion 모델 지원도 준비하고 있습니다. 위와 같이 LLM서비스에 필요한 다양한 기능들이 반도체에서 지원된다는 점이 가장 큰 강점이고요, 다양한 하드웨어 Spec, 즉 서버에서부터 엣지까지 적용 가능 하도록 확장성이 좋게 설계된 것도 큰 장점입니다. 프로세서 내부에서 확장성도 좋지만 여러 개의 칩이 같이 동작할 수 있도록 저희만의 모델 병렬화와 네트워크 기능이 내장되어 있어, 1T 파라미터 이상의 초거대 모델까지도 확장할 수 있습니다.

🧐원 기자 = ....

👨‍🔬김 대표 = ....

🧐원 기자 = 더쉽게는 설명이... 어려운 거겠죠...?

👨‍🔬김 대표 = ....

테슬라, 악재에 악재
테슬라 주가가 16일(현지 시각) 기준 내림세를 이어가며 시가총액이 장중 5000억달러(약 697조원) 아래로 내려갔습니다. 테슬라 시총이 5000억달러 밑으로 떨어진 것은 지난해 4월 26일 이후 약 1년 만이라고 해요. 이번 주 일론 머스크 CEO는 테슬라 직원에게 “전체 인력의 10%를 줄일 것”이라고 밝히기도 했는데요, 악재가 이어지고 있는 분위기입니다.

허사비스 “우리도 1000억 달러 정도...”
구글의 AI를 이끄는 딥마인드의 CEO, 데미스 허사비스가 구글이 AI에 1000억달러, 우리 돈 139조원 이상을 쓸 것이라고 말했습니다. 구체적인 정보를 밝히지는 않았지만 그는 MS와 오픈AI의 1000억 달러 규모 투자와 관련해 “그보다 더 많은 투자를 하고 있다”로 말했다 합니다. AI 전쟁은 쩐의 전쟁이 맞나 봅니다.

MS, UAE AI 기업에 2조원 투자
MS가 UAE의 AI 기업 G42에 15억 달러, 우리 돈 2조원을 투자한다고 합니다. AI를 논할 때 ‘천억’ 정도는 “겨우?”라는 생각이 들게 하는 투자에요. G42는 MS의 애져 클라우스에서 AI 서비스를 제공할 예정이라고 하는데요, G42는 그동안 미국의 블랙리스트에 오른 중국 기업과 거래를 하면서 미국에서 문제가 됐던 기업입니다. 이후 G42는 “우리는 미국 편”이라면서 중국 관련 지분을 정리했다고 해요.