요즘 전세계를 떠들썩하게 만드는 AI는 ‘딥러닝’이라는 방법론으로 만들어진 소프트웨어라고 할 수 있어요. 딥러닝은 인공신경망이라는 것을 만들어서 AI가 방대한 데이터를 가지고 스스로 학습하도록 하는 방식으로 만들어지는데요. 이 인공신경망은 병렬연산에 강점을 가진 GPU라는 반도체를 가지고 만들 때(=학습) 가장 빠르고 효율적으로 만들수 있어요. 한번 만들어진 인공신경망 기반 AI는 역시 GPU에서 작동 시킬 때 가장 빠르고 효율적으로 작동이 됩니다. 우리는 이 GPU를 그래서 AI반도체, 혹은 AI 가속기라고도 부릅니다.

2017년 구글에서 공개한 한 논문은 ‘트랜스포머’라는 새로운 딥러닝 방식을 제시합니다. 이 트랜스포머 방식에서는 데이터의 양, 매개변수의 크기, GPU 연산량을 늘리면 AI의 성능이 계속 좋아집니다. 이것이 ‘스케일링 법칙(Scaling Law)’이며, 오픈AI는 이 스케일링 법칙을 극한으로 밀어부친 기업이에요.

스케일링 법칙이 만들어낸 AI가 바로 우리도 잘 알고있는 ‘챗GPT’. GPT 같은 AI를 거대언어모델(LLM)이라고 부르는데요. 다음 단어를 예측하는 능력을 갖고 있는 AI인데, 이 LLM은 지금까지 인간이 만들어낸 AI 중 언어능력이 가장 인간에 가깝고, 어떤 영역에서는 인간을 뛰어넘는 능력을 갖고 있어요. 그래서 그 활용범위가 무궁무진해요. 

언어에서 시작해 LLM은 다른 영역까지도 확장하는데요. 우리가 많이 사용하는 챗GPT가 이미지를 인식하거나 생성할 수 있고, 동영상을 만들수 있는 것 처럼 향후에는 로봇에서도 쓰일 수 있죠. LLM은 이미 우리 스마트폰과 PC에 들어와 있고, 스마트안경에도 쓰이고 있어요.

하지만 챗GPT도, 최근에 화제가 된 딥시크도 하늘에서 뚝 떨어진 기술은 아니에요. 딥러닝은 아주 긴 역사를 가진 AI 방법론 중 하나인데 2014년 ‘알렉스넷’을 시작으로 가치를 인정받았어요. 이후 빅테크 기업과 대학의 연구자들이 이 분야에 많은 연구를 해왔습니다. 2022년 챗GPT의 등장에는 구글과 오픈AI 연구자들의 오랜 노력이 있었고, 2025년 딥시크의 등장에는 2014년 이후 이 분야에 들어온 수많은 중국계 AI연구자들이 중요한 역할을 했습니다. 

정리해 보면 AI라는 것은 인공신경망(딥러닝)에 기반한 소프트웨어이고, LLM이라는 새로운 딥러닝 기술이 등장해 우리 삶의 모든 영역에 번져나가고 있어요. 그래서 AI를 터미네이터 처럼 '진짜 사람처럼 생각하고 움직이는 무서운 존재'라고 생각하면 안됩니다. 이를 인간 이상의 능력을 낼 수 있는 소프트웨어 기술이라고 봐야 우리는 AI를 잘 이해할 수 있어요. 자동차와 핵무기가 사람을 살상할 수 있는 무서운 기술인 것 처럼, AI도 어떻게 사용하느냐에 따라서 인간의 삶을 행복하게 할 수도, 인류를 파괴할 수도 있습니다.   

AI를 사용하는 방식은 두 가지가 있어요. 하나는 클라우드이고, 다른 하나는 온 디바이스(On Device)에요. 지금 우리가 사용하는 모든 인터넷과 소프트웨어 서비스는 대부분 클라우드 기반으로 작동하고 있어요. 이미 옮겨왔어요. 제가 지금 미라클레터를 작성하고 있는 뉴스레터 서비스인 스티비가 대표적인 클라우드 서비스인요. 저는 어디서든 인터넷만 연결되어있으면 스티비에 접속해서 미라클레터를 쓸 수 있습니다.

AI도 이렇게 클라우드에서 작동하는데요. 대표적인 B2C 소비자앱인 챗GPT를 보자면, 우리가 스마트폰으로 챗GPT에 던지는 질문은 인터넷을 통해 챗GPT가 들어가 있는 데이터센터 속 서버컴퓨터로 전송되고, 그 안에 있는 AI모델에서 처리된 후 나온 답이 다시 제 스마트폰으로 전송됩니다. 

AI모델은 스마트폰으로 작동하기에는 소프트웨어의 크기가 크고, AI를 작동시키기에는 스마트폰 속 반도체의 성능이 낮아요. 하지만 데이터센터에는 저장용량도 매우 크고, 성능도 매우 좋은 AI전용 반도체가 있죠. 그러니 데이터센터로 제 질문을 보내고 답을 가져오는 과정이 훨씬 효율적입니다. 인터넷을 빠른 속도로 사용이 가능한 상황에서 우리가 넷플릭스 영화를 다운받아서 볼 필요가 없는 것과 마찬가지.

하지만 스마트폰에서 AI를 작동 시켜야할 때도 있죠. 예를 들어 비행기를 타고 오랜시간을 여행할 때는 넷플릭스 영화를 미리 다운받아놓는 것처럼, 인터넷이 연결되어있든 없든 AI를 사용하고 싶다면 AI를 내 스마트폰에 저장해놓아야합니다. 뿐만 아니라 데이터센터에 내 정보를 보낸다는 것은 내 개인정보가 기업에게 흘러들어갈 수 있다는 의미에요. 내 정보가 사용되는 것을 막고 싶은데 AI를 사용하고 싶다면, 온디바이스AI가 필요합니다.

온디바이스는 비용도 싸요. 예를 들어 아이폰의 클라우드 저장서비스인 아이클라우드를 사용하려면 월 사용료를 지불해야해요. 하지만 내 스마트폰에 저장된 사진은 언제든 무료로 열어볼 수 있어요. 클라우드는 단순히 저장용이 아니라 내 스마트폰 대신 반도체를 사용하는 비용도 포함해요. 그러니까 내가 그 비용을 내지는 않더라도, 누군가는 그 비용을 내게됩니다. 

스마트폰이나 PC에 LLM을 어떻게 집어넣을 수 있을까요? 학습을 마친 고성능 AI를 작게 만드는 과정을 거쳐요. 작아진 AI는 스마트폰에 집어넣을 수 있고, 스마트폰 반도체에서도 작동이 됩니다. 하지만 작아진 만큼 성능이 좋지 않기 때문에, 스마트폰와 PC의 성능 자체를 높이려는 시도도 따라오고 있어요. 이것이 삼성전자가 갤럭시에 AI폰이라는 이름을 붙이고, 마이크로소프트가 성능을 높인 랩탑들에 '코파일럿+PC'라는 이름을 붙이는 이유에요. 

그런데 온디바이스는 꽤 특수한 경우에서 사용될 뿐, AI는 대부분 클라우드에서 작동이 됩니다. 왜냐면 우리는 24시간 하루종일 인터넷에 연결되어 있는 상황에 살고 있거든요. AI로 실시간 정보를 검색하고, 훨씬 고성능의 일을 시키기 위해서는 결국 클라우드를 통해서 AI를 사용하는 것이 주력이 됩니다. AI는 클라우드, 데이터센터와 대부분의 경우 함께 간다. 이렇게 생각하시면 좋을 것 같습니다. 

문제는 AI는 CPU와는 다른 GPU 라는 반도체에서 작동시켜야 빠르고 효율적으로 작동된다는 것. 챗GPT 이전의 데이터센터는 모두 CPU가 중심이고, GPU는 부가적인 역할을 했어요. 하지만 LLM이 우리의 생활 전반에 들어오면, GPU에 대한 수요는 폭발적으로 늘어나게될 수 밖에 없어요. 저 만해도 하루에 한번 이상 챗GPT를 사용하는데요. 구글 검색이 AI 검색으로 대체되고, AI 개인비서의 사용이 늘어나고, AI를 창작과정에서 사용하는 크리에이터가 늘어날수록, AI 데이터센터에 있는 GPU를 찾는 수요는 늘어날 수 밖에 없어요. 

기존에는 GPU를 AI모델 학습에 주로 사용했다면, 이제 AI 사용자가 많아지면 GPU를 AI를 서비스(이를 추론 inference이라고 부릅니다)하는데 더 많이 쓰게 될 거에요. AI 학습이 일종의 ‘거푸집’을 만드는 것이라면 AI 추론은 ‘거푸집’에 쇳물을 부어서 도구를 계속 생산해내는 것에 비교할 수 있어요. 거푸집을 만드는 것은 1번이지만, 도구를 만드는 것은 수백번 수천번이 될 수 있어요. 

AI를 쓰는 것은 곧 클라우드를 통해서 데이터센터에 있는 AI를 쓰는 것이에요,. 그러니 앞서 말씀드린 클라우드 비용이 중요해집니다. 클라우드 컴퓨팅이 무엇인가.. 라고 여쭤보신다면 ‘전기’에 비유하는 것이 가장 쉬워요. 전기를 쓴 만큼 돈을 내는 것처럼(종량제), 컴퓨팅도 쓴만큼만 돈을 내는 것이죠. 전기료는 발전소를 건설하는데 드는 비용으로 정해지는 것처럼, 클라우드 컴퓨팅 비용은 컴퓨팅 발전소, 즉 데이터센터의 건설비에 달려있어요.

데이터센터를 만들기 위해서 무엇이 필요할까요? 먼저 땅이 있어야겠죠. 땅에다 건축물을 세우고 거기에 컴퓨터를 가득 채웁니다. 컴퓨터에는 뭐가 들어가죠? 우리가 사용하는 PC와 똑같아요. CPU, GPU, 메모리, 케이블 등등이 들어가겠죠. AI데이터센터에서는 이중 GPU가 제일 중요하고, 컴퓨터와 컴퓨터를 연결하는 케이블=네트워크 장비가 중요합니다. 데이터센터는 하나의 컴퓨터가 아니라 수천대 수만대의 컴퓨터가 들어가는데, 이들 사이에서 데이터를 빠르게 이동시키고 연산 작업을 효율적으로 나눠주는 것에 따라 데이터센터 운용비가 크게 줄어들어요.

데이터센터에 필요한 것은 또 있어요. 컴퓨터 수만대가 한꺼번에 작동되니 엄청난 열이 발생하기 때문에 이를 식히는 장비가 필요합니다. 또 수만대의 컴퓨터에 제공할 전력이 필요합니다. 일반적인 데이터센터에 비해 AI데이터센터에는 훨씬 더 많은 전력이 필요해요. 얼마나 저렴하고 안정적으로 전력이 공급되느냐도 데이터센터의 원가에 중요합니다.

이처럼 데이터센터 건축비와 운영비에 맞춰서 AI 사용료가 결정이 될거에요. AI 사용료가 저렴해질수록 AI를 학습시키는 비용과 사용하는 비용 모두 낮아집니다. 비용이 낮아질수록 AI를 바탕으로 하는 더 좋은 서비스가 나올 것이고, 이것이 선순환으로 AI에 대한 수요를 높일 수 있어요. 샘 올트먼과 AI 인프라에 투자하는 사람들은 이런 계산을 누구나 하고 있습니다. 

AI데이터센터를 운영하는 주체는 누가될까요? 지금도 클라우드는 우리가 클라우드 서비스 프로바이더(CSP)라고 하는 회사에 의해서 운영됩니다. 아마존 AWS, 마이크로소프트 애저, 구글 클라우드가 대표적인 회사죠. 클라우드 컴퓨팅을 전기에 비유한다면, CSP는 한국전력처럼 전기를 공급하는 서비스 회사. 하지만 전력회사와 빅테크 CSP가 다른 결정적인 이유가 있는데요. 빅테크들은 자신들의 본업을 하면서 만든 데이터센터를 안쓰는 시간에 다른 회사에 빌려주다보니 그 사업이 커진 케이스에요. 

CSP는 직접 데이터센터를 짓기도 하고, 이미 건축되어있는 데이터 센터를 임대하기도 하면서 전세계 기업들에 클라우드를 서비스하죠. 빅테크 기업들이 엔비디아 GPU를 수조원씩 구매하는 것은 그 GPU를 가지고 데이터센터를 짓기 위해서에요. 

비슷한 이유로 중국에서도 제일 큰 빅테크 기업들이 CSP를 운영해요. 알리바바, 텐센트, 화웨이 모두 자체적인 CSP 서비스를 하고 있어요. 한국에서는 네이버가 네이버클라우드라는 클라우드서비스를 하고 있지만, 미국 중국 기업들에 비교하면 미미한 수준이에요. 

CSP가 아니지만 대규모 데이터센터를 운영하는 회사도 있어요. 세계에서 가장 큰 소셜미디어 서비스를 운영하는 메타, 자율주행을 AI로 학습시키는 테슬라가 대표적. 이렇게 초거대 데이터센터를 운영하는 기업들을 하이퍼스케일러라고 하는데요. 이 기업들은 엔비디아의 GPU를 가장 많이 구매하는 기업이면서, 자체적으로 엔비디아 GPU를 대체할 제품도 만들어요.  왜냐면 AI의 성능은 곧 데이터센터의 성능인데, 최근에는 이를 높이기 위해 기술을 수직적으로 통합하려는 시도가 활발해요. 

하이퍼스케일러는 아니지만, 기술을 수직적으로 통합하는 대표적인 회사가 애플이에요. 애플은 아이폰에 들어가는 반도체에서부터 시작해 소프트웨어까지 중요한 기술을 직접 만들죠. 애플은 애플인텔리전스를 위한 자체 데이터센터를 더 늘리고 있는데요. 거기에 들어가는 GPU를 직접 설계하기 시작했어요. 

우리가 잘 아는 엔비디아도 CPU, GPU, 네트워크까지 직접 만들고 있어요. 엔비디아는 더이상 반도체 회사가 아니라, 서버컴퓨터 회사 혹은 데이터센터 회사라고 부르는 것이 적절하답니다. 미국의 또다른 반도체 기업 AMD가 ZT시스템스라는 서버컴퓨터 제조회사를 인수했는데요. 이 것도 비슷한 맥락이에요. 엔비디아의 AI 반도체 시장에 도전하기 위해, 엔비디아처럼 직접 서버를 만들기로 한거죠. 

반도체부터 서버컴퓨터까지 수직적으로 통합하고 있는 회사가 또 있어요. 바로 중국의 화웨이인데요. 화웨이도 반도체부터 서버까지 하드웨어를 모두 만들 뿐 아니라, 화웨이 클라우드라는 이름으로 CSP 사업까지 하고 있어요. 다만 미국 정부의 규제때문인지 2021년 서버사업부만 엑스퓨전이라는 이름으로 분리한 상태.

이처럼 AI라는 새로운 전기를 싸게 사용하기 위해 전세계에 AI 데이터센터가 지어지고 있어요. 다행히 전기와 달리 AI에 필요한 클라우드 컴퓨팅은 국경을 넘나들며 사용될 수 있어요. 다만 어떤 나라에 AI 데이터센터의 수가 적다면 그만큼 AI비용은 높아질 수 있을 것 같아요. 비용을 높이기 어렵다면 속도가 늦어질수도 있죠. 개인 소비자이 내야하는 비용은 동일하더라고 기업들 시장에서는 차이가 생길 수도 있을 것 같아요.

AI 사용비용은 LLM의 API 비용으로 비교해볼 수 있는데요. 소프트웨어 개발사가 오픈AI, 구글 같은 AI개발 회사가 만든 AI를 쓸 때 내는 비용이 API 비용이라고 생각하면 되는데요. 이는 딥시크 같은 오픈소스 AI를 사용할 떄도 지불해야 해요. 오픈소스 AI모델을 어딘가 데이터센터에 넣어놓고 이를 클라우드를 통해서 사용하기 때문이죠. 

딥시크는 출시 이후 파격적으로 낮은 가격으로 API 비용을 책정했어요. 딥시크-챗(V3)의 가격이 100만 토큰(단어)당 입력기준 0.014달러, 출력 기준 0.28달러에 불과했죠. 당시 모든 미국의 AI 회사들보다 비용이 낮았어요. 그만큼 학습비용이 낮기 때문에 가능하다고 생각했죠. 

하지만 45일 정도만 이런 가격을 유지하고 현재는 입력기준 0.07달러, 출력기준 1.1달러로 가격을 높였어요.

이건 두 가지 이유때문인데요. 첫번째는 딥시크가 너무 유명해지고 사용자가 많아지면서 기존의 낮은 비용으로 서비스하기 불가능해졌기 때문이에요. 딥시크가 100명 정도만 서비스할 수 있는 클라우드 인프라를 준비했는데, 1만명이 사용하려고 오면 어떻게될까요? 만약 원가 이하로 서비스를 하고 있다면 손실이 눈덩이처럼 불어났겠죠? 그래서 가격을 높인겁니다. 

두번째 이유는 딥시크가 유명해지면서 클라우드 서비스 업체들이 자체 클라우드에서 딥시크를 서비스하고 있기 때문이에요. 마이크로소프트, AWS 같은 미국 기업뿐 아니라 중국내에서 경쟁자였던 알리바바, 화웨이가 자신들의 클라우드에서 고객들이 딥시크를 사용할 수 있도록 서비스하고 있어요. 각 클라우드에서는 각자의 API 사용료를 책정해서 서비스를 하고 있으니 딥시크가 굳이 계속 낮은 비용의 API를 제공할 필요가 없는거죠. 

참고로 딥시크는 중국내에서 화웨이의 GPU를 사용해서 서비스(추론)을 하고 있다고 하는데요. 이 성능이 엔비디아 GPU를 사용했을 때의 60% 정도라고 해요. 화웨이의 GPU를 사용해서 딥시크를 훌륭하게 서비스할 수 있다면? 적어도 추론 시장에서만큼은 엔비디아의 수요를 화웨이가 많이 가져갈 것 같아요. 이는 중국 정부가 바라던 방향이기도 하죠. 

이렇게 본다면 AI 인프라의 왕. 누구일까요? 가장 가격 경쟁력을 갖춘 곳은 구글이에요. 최근 공개된 구글의 '제미나이 2.0 플래시 라이트'는 100만토큰당 사용 비용이 출력 기준으로 0.3달러, 1.1달러인 딥시크 가격의 3분의 1도 안되죠.

어떻게 구글은 이렇게 싸게 서비스를 할 수 있을까요? 일단 어느정도 손해를 보고 판다는 것이 맞을 것 같아요. 하지만 이것도 장기적으로는 비용을 계속 낮출 수 있다는 자신감이 있기 때문에 가능한 것.

구글은 일찍부터 엔비디아 GPU와 경쟁 관계에 있는 반도체인 TPU를 만들어온 회사. 그리고 TPU를 중심으로 AI데이터센터를 구축해왔어요. 앞서 말씀드린 데이터센터의 수직적인 통합이라는 측면에서 가장 노하우가 많은 회사라고 할 수 있어요. 

이렇게 본다면 샘 올트먼이 오라클과 손잡고, 전세계에 데이터센터를 짓기 위해 돌아다니는 이유를 알 수 있어요. 

AI 개발 경쟁은 점차 성능에서 비용으로 옮겨가고 있어요. 딥시크 쇼크가 그런 것을 제대로 보여줬죠. 오픈AI의 경쟁자인 구글은 그런 점에서 비용 경쟁력을 가지고 있어요. 가장 많은 클라우드 고객을 가지고 있는 AWS에 오픈AI가 들어가지 못하는 점도 아쉽죠. AWS가 아무리 AI데이터센터를 낮추고 비용을 낮춰도 오픈AI에게는 그림의 떡.

그렇다면 오픈AI의 주주이면서 오픈AI의 모든 AI서비스에 대한 클라우드 인프라를 제공하는 마이크로소프트는 어떨까요? 두 회사는 협력관계이면서 동시에 경쟁관계이기도 해요. 당장 딥시크도 마이크로소프트에서 쓸수 있어요! 거기에 두 회사가 손잡은 것은 반독점법 위반이라는 감독당국의 따가운 시선도 있어요. 두 회사는 표면적으로든, 내부적으로든 '불가근 불가원'의 관계를 유지해야합니다. 

반면 오라클은 클라우드서비스 회사이지만 AWS, 구글 처럼 자체 LLM을 만들지 않는 회사. 오픈AI 입장에서는 가장 이해관계의 충돌이 적고 협력할 부분이 많은 회사에요. 오히려 마이크로소프트보다 덜 껄끄러워요. 

오픈AI가 '스타게이트'를 비롯해 AI 인프라 구축에 나서는 것은 오픈AI가 활동하는 주요국가 미국, 일본, 유럽 등에서 전반적인 AI 데이터센터 비용을 낮추기 위해서에요. 하지만 단순히 인프라 건설만을 생각한다면 이는 샘 올트먼 답지 않은 것. 글로벌 AI 데이터센터 구축은 1900년대 미국내 발전소 건설 붐에 비견되는 대규모 인프라 투자에요. 여기서 만들어지는 가치 중 많은 부분을 오픈AI는 가져가고 싶어하는 것 같아요. 가장 중요한 것은 AI 데이터센터의 핵심인 'GPU(AI 가속기)'. 오픈AI는 구글의 TPU를 만든 브로드컴과 함께 자체 AI 가속기를 만들고 있는데요. 앞으로 만들어지는 데이터센터 속 서버에 오픈AI가 만든 AI반도체가 탑재된다면 오픈AI는 큰 매출을 얻을 수 있고, 엔비디아로부터 반도체 독립도 가능해지죠. 

이런 기회를 찾는 것은 오픈AI만이 아니에요. 소프트뱅크는 데이터센터용 CPU를 만드는 스타트업 '암페어'를 인수하려고 하고있는데요. 소프트뱅크가 오픈AI가 함께 만드는 데이터센터에 '암페어'의 CPU를 넣을 수 있겠죠? 특히, 암페어는 소프트뱅크가 대주주인 Arm의 설계를 사용하고 있기 때문에 소프트뱅크는 암페어가 잘 되면 이중으로 득을 보게됩니다.

미국 뿐 아니라 중국도 AI데이터센터 구축에 적극적으로 뛰어들 것으로 예상됩니다. 역시 AI를 전기에 비교하자면, 미국보다 낮은 전기료를 만들기 위해 AI데이터센터에 투자하는 것이죠. 뿐만 아니라 이 과정에서 중국산 반도체나 부품을 최대한 많이 집어넣을 것 같아요. 이 과정에서 중국 반도체 기업과 데이터센터 기업들이 성장할 수 있겠죠.