머스크는 앞서 엔비디아에 GPU를 주문했는데요. 주문한 물량을 일부만 받았어요. 테슬라에 도조 슈퍼컴퓨터를 설치하고 있고 xAI라는 AI 스타트업을 운영하고 있어, 무엇보다 컴퓨팅 파워가 절실합니다. 심지어 그는 엔비디아의 AI 칩인 H100을 추가로 주문, 연말까지 3만5000대에서 8만5000대로 늘릴 계획을 갖고 있습니다. 또 AI에만 총 100억달러(14조원)를 투자할 계획입니다. 하지만 엔비디아의 배송이 지연되면서, 일부 받은 GPU를 어디에 배정할지 고민이 커졌습니다.

테슬라 주주들의 불만

머스크는 급한 대로 X(옛 트위터)에 GPU를 우선 배정했습니다. 한데 테슬라 주주들이 불만! 지난주 화요일 테슬라 주가가 1%나 떨어졌습니다. X에 배정한 GPU를 돈으로 환산하면 5억 달러 (7000억 원)라고 합니다. 테슬라 투자자들은 “휴머노이드와 도조컴퓨터를 만들려면, 테슬라가 당연히 먼저 GPU를 받았어야 했다”고 이구동성.

GPU 우선순위 논쟁은 임시 CEO 논쟁으로 이어졌습니다. 머스크는 테슬라, 스페이스X, 뉴럴링크, xAI, X(옛 트위터) 등 수많은 기업의 CEO로 활동하는데요. 그렇다 보니 자신의 지분이 가장 많은 기업에 공을 더 들이는 경향이 있습니다. 지분만 보면 테슬라는 20.5%, 스페이스X는 44% (의결권 78%), X(트위터)는 75~80% 수준입니다.

전기차 보다 하이브리드

시사하는 바는 큽니다. 머스크는 테슬라에 대해 투자 보다는 일단 구조조정을 해야 한다고 보는 것 같아요. 올해 14% 이상을 감원했고, 연말까지 20% 감원이 예고돼 있다고 합니다. “2019년 이후 장기간의 번영을 누리다 보니 사내 곳곳에 비효율이 쌓여있다”는 것이 머스크의 진단입니다.

특히 그는 레베카 티누치가 이끄는 수백명의 직원으로 구성된 슈퍼차징팀을 전격 해체했는데요. 테슬라 슈퍼차저는 전 세계에서 가장 큰 충전망으로 꼽혔고, 테슬라의 차별화된 경쟁력으로 평가받았는데, 경쟁이 그만큼 격화된 것입니다. 테슬라는 여전히 강자입니다. 카운터포인트 리서치에 따르면, 1분기 전기차 시장에서 테슬라 점유율은 20%입니다. 이어 2위는 BYD 15%.

문제는 미국을 중심으로 전기차 열풍이 한풀 꺾인데 있습니다. AAA가 이달 설문한 바에 따르면, 전기차를 구매할 의향이 있냐는 질문에 소비자 18%만 그렇다고 답변했는데요. 작년 23%에서 낮아진 수치입니다. 또 그렇다고 답한 사람 중 3분의 1은 하이브리드를 사겠다고 말했습니다. 

소프트뱅크그룹은 지난주 21일 정기 주주총회를 열었는데요. 손정의 회장은 이날 이런 발언을 했습니다. "인류 지능의 1만 배에 달하는 초인공지능이 10년 이내에 개발될 것인데요. 나는 이런 AI를 실현하기 위해 태어났다고 해도 과언이 아닙니다.” 그리고 한숨이 이어집니다.

• 👴 MS가 오픈AI에 추가 투자를 발표한 2023년 1월. 그 이전에 오픈AI에 1조엔 투자를 검토했었는데... 결국 성사되지 않았고, 아... 놓친 물고기는 많이 있어요...

• 👴 2020년에 암(ARM)을 엔비디아에 매각하려고 했는데요. 반독점 당국의 반대로 중단됐습니다. 이후 엔비디아의 최대주주가 되는 형태로 양사를 합병시키려고 했는데, 젠슨 황 CEO 반대로 무산됐어요... (주식교환으로 대주주가 되려고 했었나 봅니다)

머스크 손정의 모두 컴퓨팅 파워의 중요성을 알고 있는데요. 감이 잘 안 오실 수 있을 것 같아요. 그래서 계산을 보여드리겠습니다. 왜 컴퓨팅 파워가 중요한지요. GPT-3는 인간 두뇌에 해당하는 파라미터. 그 파라미터수가 1750억개에 달합니다. 사람 두뇌에는 약 1000조개 (또는 100조개로 추정)에 달하는 시냅스가 있대요. 시냅스는 뉴런(신경세포)들이 서로 신호를 주고받는 연결점인데요. 때문에 생각하고, 배우고, 기억하는 모든 과정을 가능하게 합니다. 즉 파라미터란, 함수로 보면 이해가 쉽습니다.

AI도 학습한다

처음 모델을 만들 때는 파라미터가 임의 값으로 돼 있어요. 이 상태에서는 모델이 입력 데이터를 받아도 제대로 처리하지 못해요. 마치 갓 태어난 아이가 말을 못하는 것 처럼요. 때문에 모델이 제대로 출력할 수 있도록 파라미터를 조정해야합니다. 이 과정을 학습이라고 합니다. 학생이 문법을 배우는 것과 같은 이치입니다.

때문에 학습 과정에선 막대한 컴퓨팅 파워가 필요합니다. GPT-3는 1750억개 파라미터지만, 여기에 투입된 데이터는 수조개에 달하는 토큰으로 구성돼 있어요. 1토큰은 1음절로 이해하면 쉽습니다. 하지만 공부가 1회로 다할 수 없듯, 학습도 마찬가지입니다. 학습 횟수를 에폭이라고 합니다. 만약 3번 반복해 학습하면, 3에폭이라고 해요.

자! 이제 컴퓨팅 파워를 계산해 볼게요. GPT-3 모델의 각 레이어(layer)에서 수행되는 연산은 주로 행렬 곱셈인데요. 때문에 2 FLPS (부동소수점) 연산이 필요합니다. 공식입니다.

• 필요한 총 FLOP= 2×(모델의 총 파라미터 수)×(훈련 데이터의 토큰 수)×(에폭 수)

풀어볼게요. 1750억 파라미터, 훈련 데이터 1조개, 학습 횟수(에폭수) 3회라고 가정한다면? 약 157해 (15.75 X 10의23승) 번의 연산이 필요합니다. 엔비디아의 GPU H100은 약 700 테라플롭스(700조) 연산 성능을 갖고 있어요. 즉! H100를 몇 대 갖고 있냐에 따라 시간이 달라집니다. (약간 오류가 있을 순 있어요.)

• 1개: 47.6년
• 10개: 4.76년
• 100개: 173.6일
• 1,000개: 17.36일
• 1만개: 41.67시간
• 10만개: 4.17시간
• 100만개: 25분

포스트 엔비디아

“어디 없나요?”

오늘날 엔비디아는 AI 대장주입니다. 연초 대비 주가 상승률이 무려 171.50%에 달합니다. "AI를 육성해야한다"는 곧 "엔비디아 칩을 사야한다"로 통합니다. 하지만 고점인지, 아닌지에 대한 견해는 분분합니다.

고점 VS 저점

김선우 메리츠증권 연구원의 설명입니다. "엔비디아는 AI 서비스가 창출해 낼 부가가치를 100조달러로 예측하고 있습니다. 단순히 반도체 공급 업체가 아닌 'AI 팩토리' 플랫폼을 제공하는 역할을 강조합니다. 경쟁사에도 불구하고 엔비디아의 지배력은 견고합니다.."

반대 견해도 있습니다. 캐피털 이코노믹스의 닐 시어링 수석 이코노미스트의 설명입니다. "AI에 대한 열정은 거품의 모든 특징을 가지고 있어요. 1년 반 정도 미국 주식을 상승시키는 데 도움이 됐겠지만 거품은 결국 꺼질 것입니다.“

포스트 엔비디아 주를 사려는 사람도 늘고 있어요. AI 시대는 계속 갈 텐데, 엔비디아는 너무 올랐으니, 다른 것을 사볼까 하는 심리인데요. 큰 손들은 서서히 반엔비디아 연합군인 브로드컴 시스코 마이크로소프트 삼성전자를 보고 있다고 합니다. 왜 그러냐고요. 먼저 AI 반도체 공식을 알아야 해요.

AI 반도체 공식

전통적인 시스템

• CPU + DRAM: 일반 컴퓨터는 중앙 처리 장치(CPU)와 주 메모리(DRAM)로 구성됩니다. CPU는 모든 일반적인 작업을 처리합니다.

GPU 가속 시스템

• CPU + DRAM + GPU: AI 고성능 컴퓨팅을 위해 그래픽 처리 장치(GPU)가 추가됩니다. GPU는 대규모 데이터 처리를 병렬로 수행할 수 있어 AI 작업에서 높은 성능을 제공합니다.

NPU 도입 시스템:

• CPU + DRAM + GPU + NPU: 신경망 처리 장치(NPU)를 추가한 시스템입니다. NPU는 AI 연산을 전문적으로 처리하고, GPU는 여전히 병렬 처리를 담당합니다. CPU는 시스템 전체를 관리하고 일반 작업을 처리합니다.
• CPU + DRAM + NPU: 일부 AI 시스템에서는 GPU 대신 NPU만 사용합니다. 이 구성은 특정 AI 작업에 최적화되어 있지만, 일반적인 작업에서는 유연성이 떨어질 수 있습니다.
• 다른기종 컴퓨팅 시스템: CPU + DRAM + GPU + NPU + 기타 가속기: 여기에 더해 프로세서와 가속기를 조합할 수 있습니다. (FPGA나 ASIC 같은 특수 목적의 하드웨어가 포함될 수 있어요.)

일반적으로 AI 가속기라고 하면, GPU 가속 시스템을 가리켜요. 그래서 GPU는 엔비디아, HBM 메모리는 SK하이닉스, 위탁생산(파운드리)은 TSMC가 됩니다. 엔비디아는 그레이스라는 CPU까지 만듭니다. AI 반도체 3대장인 것이죠.

머니무브

하지만 배송이 오래 걸리다보니 “이 조합을 달리해도 되는 것 아냐”라는 생각을 서서히 하기 시작했습니다. 투자자들이 생각하는 새 조합은 엔비디아가 독점하고 있는 반도체 설계와 네트워크·보안 분야는 각각 브로드컴과 시스코에게 몰아주고, HBM은 삼성전자로 바꾸는 것인데요 . 이런 움직임이 없는 것은 아니었습니다.

한국거래소에 따르면 5월 외국인은 삼성전자를 2조5811억원 매도한데 반해 SK하이닉스에 대해선 1조5088억원의 순매수했습니다. 한데 6월에는 17일까지 삼성전자와 SK하이닉스에 대해 각각 1조3962억원 1조3408억원 순매수를 했어요.

일각에선 구글 마이크로소프트 메타 인텔 AMD 브로드컴 시스코 HP엔터프라이즈 등 8곳이 AI 가속기의 글로벌 표준 제정을 위한 ‘울트라 가속기 링크(UA링크)’를 설립한데 따른 기대심리라는 분석이 있었습니다.

시스코는 AI+보안

한국 첫 인터뷰

반엔비디아 연합군의 하나로 꼽히는 시스코는 대표적인 IT 기업인데요. 시스코라는 이름은 샌프란시스코(Sanfrancico)에서 따왔습니다. 스탠퍼드대 컴퓨터 과학자들이 1984년 창업했고요. 당시로서는 생소한 라우터 시스템을 통해 멀리 떨어져 있는 컴퓨터를 연결하는 근거리 통신망(LAN) 기술로 명성을 쌓았습니다.

트래픽의 80%

오늘날 전 세계 트래픽의 80%는 시스코의 네트워킹 장비를 거칠 정도인데요. 인터넷 도입 붐이 불면서 2000년 3월 시가총액 5554억 달러를 돌파하며 미국 시가총액 1위를 차지한적이 있어요. (2000년대 엔비디아!) 하지만 닷컴 버블이 꺼지면서... 주가만 보면 2000년에 77달러에 달했지만, 현재는 47.29달러로 최고점을 회복하지 못한 상태입니다.

저평가된 것은 맞아요. 앞으로 예상되는 수익 대비 주가를 나타내는 포워드 PER는 12.94배, 매출 대비 주가를 나타내는 PSR은 3.36배에 그칩니다. 엔비디아는 포워드 PER이 48.7배, PSR이 21배입니다.

매일경제 팀 미라클레터가 한국 미디어로는 처음 시스코의 척 로빈스 회장을 단독으로 만나고 왔어요. 시스코는 로빈스 회장 취임해인 2015년부터 AI·보안·협업 도구 등 소프트웨어 중심으로 사업을 재편하고 있습니다. (전문은 여기에 있습니다.)

AI와 사이버보안

• 🧑 2박3일로 짧게 오셨네요. 누구를 주로 만났나요.
• 👨 이재용 삼성전자 회장, 정의선 현대차그룹 회장, 최수연 네이버 대표를 차례로 면담했습니다. 이분들과 AI 네트워킹 칩, 자율주행 보안, AI 모델 수출에 대해 협업하는 방안을 각각 논의했어요. 공통적으로 테크놀러지, AI 가속화, 사이버 보안에 대한 관심을 보여주었습니다.

• 🧑 삼성전자 이재용 회장과는 어떤 이야기를 나누셨나요?
• 👨 시스코는 삼성전자와 매우 오랜 파트너십을 맺고 있어요. 특히 오늘날 반도체와 통신 장비에 있어서 매우 긴밀하게 협업하고 있습니다. AI와 통신 트렌드에 대해 깊이 있는 이야기를 주로 나눴어요.

• 🧑 현대차 정의선 회장과는 어떤 대화를 하셨나요.
• 👨 전 조지아주에서 태어났어요. 현대차가 조지아주에 새 전기차 공장을 짓고 있어서 정 회장과 더 뜻깊은 만남이었어요. 자율주행차 시대에 현대차의 차량 보안을 어떻게 강화할지에 대해 주로 이야기를 나눴습니다.

• 🧑 최수연 네이버 대표 김유원 네이클라우드 대표와는 어떤 대화를 나누셨나요?
• 👨 네이버는 자체 언어모델을 가진 기술 강자인데다 로컬 클라우드의 챔피언이었어요. 다른 국가의 소버린 클라우드와 AI에 관심이 많았는데요. AI 및 보안에 강한 시스코와 함께 진출하는 방안을 논의했습니다.

시스코 매출액은 570억달러(약 78조9000억원), 영업이익은 126억달러(약 17조5000억원)에 달하는데요. 사업군은 크게 네트워크, 보안, 협업, 가시성(Observability) 등 4가지입니다. 올해에는 280억달러(약 39조원)를 들여 스플렁크(Splunk)를 인수하며 보안을 강화! 시스코가 개발한 AI 네트워크 장비를 활용해 네트워킹을 지원하는 동시에, 보안 솔루션까지 접목해 안심하고 사용할 수 있도록 하겠다는 메시지입니다.

로빈스 회장은 "고객사들이 AI 모델을 구축하고 배포하기 위한 인프라스트럭처를 확보하는 데 집중하고 있고 이 과정에서 보안까지 신경을 쓰고 있다"면서 "시스코는 스플렁크를 인수함으로써 추가적 가치를 전달하고 있다"고 말했어요. 특히 실리콘원이라는 새로운 네트워킹 칩 아키텍처를 지속 업데이트하고 있는데, 앞으로 클라우드 인프라를 구축하기 위한 심장부 역할을 할 것이라고 말했어요.

“인프라의 심장부”

투자자들은 시스코를 반엔비디아의 연합군으로 보는데요. 이건 잘못된 시선 같았어요. 엔비디아는 올 6월 시스코와 손잡고 통합 AI 데이터센터 솔루션 ‘시스코 넥서스 하이퍼패브릭 AI 클러스터’를 내놓았는데요. 엔비디아는 GPU를, 시스코는 검증 설계·모니터링 솔루션을 각각 제공하는 협업 프로젝트입니다.

로빈스 회장은 “젠슨 황 엔비디아 CEO와 이야기를 많이 나눈다”면서 “안전한 인프라를 구축해 AI를 보다 쉽게 배포할 수 있도록 하고 있다”고 설명했습니다. 또 그는 “AMD와 인텔과도 전략적 협업을 논의하고 있다”고 설명했어요. 이러한 통합 데이터센터는 여러 지역에 흩어져 있는 식음료 체인이나 오피스를 두고 있는 기업들이 도입할 것으로 보입니다.

🔎 크게보기

시스코가 2000년 황금기처럼 다시 시가총액 1위 빅테크라는 타이틀을 거머쥐기는 한동안 어려울 거예요. 하지만 AI의 속도를 높이는데 네트워킹 솔루션이 필요하고, 이에 더해 보안이 중요하기 때문에 앞으로도 많은 기업으로부터 러브콜을 받을 것 같습니다. 반 엔비디아의 한축은 아니고요.