엔비디아가 실적을 발표하기 하루 전, 저는 라스베이거스에 있었습니다. VM웨어라는 기업의 연례 행사인 ‘익스플로러 Explore’를 취재하고 있었는데요. 이 행사 기조연설에 ‘젠슨 황’ 엔비디아 CEO 가 깜짝 등장했습니다. 저는 여기서 내일 실적 발표에서 엔비디아가 엄청나게 좋은 실적을 낼 것을 예감했습니다. 왜냐구요? 일단 그의 표정이 밝아보였거든요. 더 확신을 준 것은 그가 가방에 뭔가를 담아왔기 때문입니다. 

바로 엔비디아의 GPU 인 RTX 4090 이었는데요. 컴퓨터에 설치할 경우 게임을 고성능으로 할 수 있는 PC 용 GPU 죠. 여기에 무려 그의 사인이 적혀있었는데, 이 사인을 한 GPU 5개를 참가자들에게 추첨으로 나눠준다고 했습니다. 대당 200만원 이상의 고가의 컴퓨터 부품인데 젠슨 황의 사인이 그려져 있다? 로또 수준은 아니지만 정말 기분 좋은 선물이 었을 겁니다. 젠슨 황이 지금 매우 기분이 좋다는 걸 여기서도 확인할 수 있었습니다.

엔비디아 주가가 엄청나게 오르면서 젠슨 황 CEO 의 현재 재산은 411억 달러(약 54조원)에 달하는데요. 전세계 부자 순위 29위! 😎

VM웨어의 행사에 그는 왜 온 것일까요? 핵심만 말씀드리면, 엔비디아와 VM웨어가 손잡고 ‘프라이빗 AI 파운데이션 위드 엔비디아’라는 걸 내놓기로 했거든요. VM웨어는 미라클레터에서 한번 자세히 다룬 적이 있는데요, 바로 클라우드의 시작이라고 볼 수 있는 기술을 내놨던 회사에요. 지금은 클라우드가 대세가 되면서 약간 중심에서 벗어났지만 여전히 서버컴퓨터의 핵심 소프트웨어를 제공하는 회사에요. 

어떤 기업이 AI를 사용한다고 하면 크게 두 가지 방법이 있어요. 하나는 클라우드 서비스 업체(AWS, MS 애저, 구글 클라우드)에서 제공하는 AI 서비스를 사용량에 비례해서 돈을 내는 거죠. 이건 자체적인 데이터센터가 없는 기업들의 얘기.

자체 데이터센터나 작은 규모라도 서버가 있다면 여기서도 AI를 돌릴 수 있어요. 클라우드 서비스든, 자체 데이터센터든 서버컴퓨터가 있고 AI를 (빠르게) 사용하기 위해서는 AI 반도체(AI Accelerator)가 필요한데요. 엔비디아의 GPU, 그 중에서도 데이터센터용 고성능 GPU 가 80% 이상의 시장점유율을 차지하고 있습니다.

엔비디아와 VM웨어와 손을 잡고 내놓은 ‘프라이빗 AI 파운데이션’은 후자. 즉, 자체적인 데이터센터가 있고 거기서 AI를 돌려보고 싶은 기업들을 위한 서비스에요. 챗GPT처럼 일반 대중을 위한 서비스가 아니라, 기업이 우리 자체 데이터를 가지고, 외부 클라우드에 연결되지 않은 상태로, 생성형 AI를 사용하고 싶을 때 사용하는 것.

그런데 엔비디아가 VM웨어가 손을 잡고 내놓은 이 서비스에 들어가는 GPU 로는 다소 생소한 이름이 나왔는데요. 바로 L40S GPU. 엔비디아의 데이터센터용 GPU 중 가장 성능이 뛰어나고 유명한 것은 바로 H100 인데요. 엔비디아가 H100 이 아닌 성능이 다소 떨어지는 L40S GPU를 미는 것은 H100 에 대한 수요가 너무 폭주해서인 듯 합니다.

H100 은 엔비디아의 데이터센터 AI 용 반도체 중 가장 뛰어난 성능의 것. AI를 직접 학습하는 오픈AI, 앤스로픽, xAI 같은 회사들. 클라우드 서비스 업체인 AWS 와 마이크로소프트, 국가주도로 LLM을 만들고 있는 아랍에미리트와 사우디아라비아 같은 곳이 모두 H100을 구매했다고 하는데요. 2분기 엔비디아 데이터센터 매출이 전년대비 171%나 오른 것은 이 H100 에 대한 폭발적인 수요 덕분!

그런데 H100 을 위탁생산을 하는 TSMC에서 생산이 속도를 내지 못하고 막혀있는 일이 올해 1분기부터 이어지고 있다고 해요. 그런 점에서 L40S를 전면에 내세운 것은 생산에 차질이 발생하는 H100 대신 상대적으로 생산에 문제가 없는 L40S 로 GPU 수요를 돌리려는 목적인 것 같아요. 젠슨 황 CEO 와 엔비디아에 따르면 L40S 는 엔터프라이즈 AI 에 제격이고, 새로운 모델을 학습시키는 것보다는 파인튜닝(만들어진 모델을 일부 수정하는 것)에 적합한 것이라고 해요. 

생산이 수요를 못 따라갈 정도로 폭풍 성장하고 있는 엔비디아. 엔비디아의 AI 시장 점유율은 80% 에 달한다고 하는데요. 수많은 도전자들이 나오고 있지만 AI 의 아성은 쉽게 흔들리지 않을 것 같아요. AI 반도체(=AI 가속기) 시장도 사실상 네트워크 효과가 작용하고 있기 때문인데요. 바로 CUDA 라고 하는 AI 개발 플랫폼이 CUDA 에 익숙해져 있기 때문에 여기서 빠져나오기 쉽지 않다고 해요. 아무리 성능이 좋고 저렴한 AI 반도체가 나온다고 해도, 기존의 버전과 호환이 되지 않으면 문제가 커져요.

그래서 엔비디아에 도전하는 기업들은 다양한 방식으로 엔비디아의 왕좌에 균열을 내려고 하고있어요. 

1) 추론 특화 AI 반도체

AI 는 학습과 추론 두 가지가 있다는 것 미라클러님 대부분 알고 계시죠? 챗GPT를 만드는 것이 학습. 챗GPT 에 질문을 던지면 답을 얻는 것이 추론이죠. 학습에서 엔비디아 GPU 와 CUDA 생태계가 워낙 강하기 때문에 추론 시장부터 공략하겠다는 반도체가 많아요. AI 모델이 적용되는 분야가 많아질수록 ‘추론’에 대한 수요는 커질 것이고 그 시장부터 먼저 공략하겠다는 것이죠! 

엔비디아의 AI 반도체 사업은 계속커질 수 있을까요? 데이터를 가지고 AI를 만들려는 수요, 만들어진 AI 로 새로운 서비스를 하려는 수요가 계속 커져야 엔비디아의 GPU에 대한 수요가 커질테니까요. 가트너에 따르면 AI 반도체 시장 규모는 올해 이미 534억달러를 기록해 전년대비 20% 커졌고, 2027년에는 1194억달러가 된다고 해요. (참고로 지난해 메모리 반도체 시장 규모가 971억 달러였습니다) 

젠슨 황 엔비디아 CEO 는 몇 년 전부터 ‘가속컴퓨팅(Accelerated Computing)’이라는 단어를 많이 썼는데요. 그는 이번 2분기 실적발표에도 ‘일반 목적의 컴퓨팅’에서 ‘가속 컴퓨팅’으로 기업들의 수요가 바뀌고 있다고 밝혔어요. 저는 이것을 컴퓨팅의 중심이 CPU에서 GPU 로 바뀌고 있는 것으로 이해했어요.

‘반도체 제국의 미래’라는 책을 쓴 정인성 작가님은 CPU 와 GPU 의 차이를 이렇게 설명했는데요. 스포츠카를 가지고 작은 짐을 빠르게 서울에서 부산으로 보내는 것이 CPU 였다면, 커다란 트럭에 많은 짐을 실어서 느리게 서울에서 부산으로 보내는 것이 GPU 라고 말이죠. 과거의 컴퓨터는 작은 짐을 빠르게 보내는 것이 중요했지만, 지금은 많은 짐을 한 번에 보내는 것이 중요해졌어요. 딥러닝과 트랜스포머 모델이 세상에 엄청난 변화를 만들고 있기 때문이죠.

만약 우리가 사용하는 모든 전자기기에 ‘딥러닝’ 기반의 AI 가 모두 들어갈 것이라고 생각한다면, 가속컴퓨팅에 대한 수요는 계속 늘어날 수 밖에 없어요. 반면 딥러닝 기반의 AI 에 근본적인 한계가 있다고 생각한다면 가속컴퓨팅에 대한 수요는 벽에 부딪히게 될 것 같아요. 어떻게 될까요? 실리콘 반도체 자체의 기술발전이 물리적 한계에 도달했다는 설명이 나오는 요즘. 혁신은 계속될까요? 아니면 양자컴퓨터 같은 완전히 새로운 기술이 등장해야할까요?