[BURI레터] 🏭 AI 경쟁이 갑자기 ‘메모리 전쟁’이 된 이유

지난 주 BURI레터 보기

PC버전으로 보는 것이 조금 더 예뻐용.

🤖 1. 🧠 AI의 진짜 병목은 GPU가 아니라 ‘기억력’이었다?

🤖 2. 🥞 그래서 메모리를 위로 쌓아버렸습니다.

🤖 3. 🏭 AI 경쟁이 갑자기 ‘메모리 전쟁’이 된 이유

🤖 4. 🤖 AI가 커질수록 ‘계산’보다 ‘옮기는 일’도 중요해진다.

1. 🧠 AI의 진짜 병목은 GPU가 아니라 ‘기억력’이었다?

안녕 안녕😎👋🏻

오늘은 GPU 옆에 조용히 서 있다가

갑자기 몸값이 어마어마하게

오른 친구를 데려왔습니다.

이름하여.

HBM.

저번주에 이어 AI 2탄이라고 할까?

이름은 좀 재미없어 보이는데

걱정을 하덜덜마세요~

BURI가 재밌게 떠들어주면 되지!!😉

그럼 구독자님덜 팔로팔로미💨

HBM은 High Bandwidth Memory, 우리말로 하면 고대역폭 메모리라고 해요.

그런데 잠깐 AI 하면 GPU 아니었나요?

BURI가 지난번에 GPU가 비즈니스석 타고 데이터센터 출근해서 전기 먹고 더위타는 이야기까지 했쟈냐.😂

GPU가 AI의 핵심이라며!!

맞음.

GPU는 많은 계산을 동시에 처리하는데 강해서 AI를 학습시키고 실행하는 데 핵심적인 역할을 하지만 문제가 하나 있음.

GPU가 아무리 빨라도 계산할 데이터가 제때 안 오면 기다려야 하죠.😐

쉽게 말하면 세상에서 제일 문제를 빨리 푸는 학생이 있다고 해볼게요.

👦🏻
“저 문제 진짜 빨리 풀어요.”

한 문제 풂.

다음 문제 주세요.

한 문제 풂.

다음 문제 주세요.

한 문제 풂.

다음 문제...

야.

문제집을 그냥 통째로 줘!!😂

학생 머리는 미친 듯이 빠른데 문제를 한 장 한 장 천천히 전달하면 학생의 능력을 제대로 사용할 수 없잖아요?

GPU도 비슷합니다.

AI가 계산할 때는 GPU 혼자 머릿속에서 계산만 하고 끝나는 게 아님.

필요한 데이터를 메모리에서 가져오고,

계산하고,

또 데이터를 가져오고,

계산 결과를 저장하고,

다시 다음 데이터를 가져옵니다.

🗃️ → 🧠 → 🗃️ →🧠 → 🗃️ → 🧠

생각보다 계산과 데이터 이동이 계속 반복되는 거죠.

특히 AI 모델에서는 엄청나게 많은 숫자를 다뤄요.

⚖️모델의 가중치

📥입력 데이터

🧮중간 계산 결과

🗂️추론 과정에서 잠깐 저장해두는 정보들

이런 것들을 계속 꺼내고 넣으면서 계산합니다.

그래서 GPU가 아무리 계산을 빨리해도 메모리에서 데이터가 늦게 오면

🧠
“저 다 계산했는데요.”

“다음 데이터요.”

...

“저기요?”

비싼 GPU가 기다리고 있는 상황이 생길 수 있는 거죠.

여기서 등장하는 개념이 메모리 대역폭(Memory Bandwidth).

말은 무섭게 생겼지만 별거 아님.

쉽게 비유해서 도로라고 생각하면 1차선 도로가 있어요.

아무리 자동차가 엄청 빠른 페라리여도 앞에 차가 꽉 막혀 있으면?

🚗🚗🚗🚗🏎️

페라리도 서 있음.🤣

그런데 도로를 1차선 → 8차선 → 16차선 처럼 넓히면 같은 시간 동안 훨씬 많은 자동차가 지나갈 수 있겠죠. 메모리 대역폭도 비슷합니다.

일정 시간 동안 메모리와 GPU 사이에서 얼마나 많은 데이터를 옮길 수 있느냐.

HBM은 바로 이 데이터 도로를 아주 넓게 만든 메모리라고 이해하면 쉬워요.

실제로 NVIDIA H100은 모델에 따라 약 3.35~3.9TB/s의 HBM 메모리 대역폭을 제공하고, AMD의 차세대 MI455X는 HBM4를 사용해 최대 23.3TB/s의 메모리 대역폭을 제시하고 있습니다.

제품 세대와 구조가 다르니 숫자를 단순 비교하면 안 되지만, AI 가속기에서 메모리 대역폭이 얼마나 중요한 요소인지 보여주는 사례이긴 하죠.

그래서 AI 반도체 성능을 볼 때는 이제

🗣️

“GPU 계산 성능 몇이야?”

만 보는 게 아니라

“메모리는 얼마나 들어가?”

“메모리 대역폭은 얼마나 돼?”

도 같이 보는거임.

그렇다고 HBM이 GPU보다 중요하다는 뜻은 아니에요.

GPU가 계산하고➡️ HBM이 데이터를 공급하고, 둘이 같이 빨라야 하죠!

주방장이 아무리 손이 빨라도 식재료가 안 오면 요리를 못 하고,

식재료를 산더미처럼 갖다줘도 주방장이 느리면 요리가 안 나오죠.

👨🏻‍🍳🤝🏻🥬

둘이 팀.

그래서 오늘의 첫 번째 결론.☝🏻

GPU가 천재라면 HBM은 천재에게 문제지를 미친 듯이 넘겨주는 친구다.

문제지를 안 주면?

천재도 놀아야 함.

월급은 나가는데.

안돼.

😨

그럼 HBM은 SSD 같은 저장장치인가요?

여기서 헷갈릴 수 있음.

우리가 평소 보는

💾 SSD
📱 휴대폰 저장공간

이런 거랑 HBM이 같은 건가?

놉.🙅🏻‍♂️

HBM은 DRAM 계열의 메모리입니다.

쉽게 나눠볼게요.

SSD = 창고 📦 사진, 영상, 파일 같은 데이터를 비교적 오래 보관하는 곳.

HBM = 작업대 📚 GPU가 지금 당장 계산에 쓸 데이터를 빠르게 펼쳐놓는 공간.

예를 들어 요리사가 있고 식재료 1톤짜리 창고가 있는데 주방 조리대에는 아무것도 없음.

그러면?

요리사가 매번 창고 뛰어가서🏃🏻🏃🏻‍➡️

토마토 하나 가져오고.🍅

다시 뛰어가서 양파 하나 가져오고.🧅

다시 뛰어가서 소금 가져오고.🧂

👨🏻‍🍳💢

그냥 주방에 좀 갖다놔!!!!ㅋㅋㅋ

컴퓨터도 비슷해요. 저장 공간이 크다고 계산이 자동으로 빨라지는 게 아니고, 지금 필요한 데이터를 얼마나 빨리 가까운 곳에서 가져올 수 있느냐가 중요합니다.

큰 창고와 빠른 작업대는 서로 다른 역할인 거죠.🤗

2. 🥞 그래서 메모리를 위로 쌓아버렸습니다.

이제 HBM이 왜 필요한지는 알았음.

근데 BURI 궁금.🤔

메모리를 빠르게 만들고 싶으면 그냥 많이 붙이면 되는 거 아닌가?

기존 컴퓨터에서도 당연히 메모리를 써왔어요.

그런데 AI처럼 많은 데이터를 아주 빠르게 처리해야 하는 환경에서는 메모리의 양만 늘리는 걸로는 부족한 이유가 얼마나 빨리 데이터를 오갈 수 있는지도 중요하기 때문!

그래서 HBM은 꽤 독특한 방법을 사용하는데 어떤 방법이냐면 옆으로만 늘어놓지 않고 위로 쌓습니다. 네 진짜로.🤣

🥞
🥞
🥞
🥞

메모리 칩을 여러 층으로 수직 적층합니다.

약간 반도체 팬케이크.

🥞

근데 팬케이크는 시럽을 뿌리고 HBM에는 구멍을 뚫음.

뭐...뭘 뚫어? 비싸다고 했는데 구멍을 뚫어도 되는거여? 고장안나?😨

걱정마시라!! 여기서 등장하는 기술이 바로 'TSV(Through-Silicon Via)'

쉽게 말하면 실리콘 칩을 수직으로 관통하는 아주 작은 전기 통로를 만들어 위아래 칩을 연결하는 방식이에요.😉

아파트를 예시로 들어 볼게요.

1층 사람과 8층 사람이

계속 물건을 주고받아야 합니다.

그런데 매번

1층 → 현관 → 밖 → 빙글빙글 → 8층

이렇게 다닌다면?

느리고

귀찮고

택배기사 화남

😡📦

그래서 건물 한가운데

전용 엘리베이터를 뚫어버리는 것.🛗

HBM의 적층과 TSV를 이해할 때는 이 정도로 생각하면 됩니다.

그리고 HBM은 단순히 위로 쌓는 것만으로 끝나는 것도 아님.

GPU 같은 연산 칩과 HBM을 아주 가까운 거리에서 고밀도로 연결하기 위해 실리콘 인터포저 같은 패키징 기술을 쓰기도 합니다.

쉽게 말하면

📚〰️〰️〰️〰️〰️〰️🧠

이렇게 멀리 떨어져서

“데이터 보내주세요오오오!!!”

하는 것보다

📚🧠

걍 옆에 붙여버리는 것.

데이터가 다니는 길을 넓고 짧게 만들어 많은 양을 빠르게 주고 받도록 만드는 거죠. 그런데 여기서부터 일이 어려워져요.

메모리 칩 하나 만드는 것도 어려운데,

▪️여러 개를 만들고

▪️얇게 만들고

▪️정확히 쌓고

▪️위아래 연결하고

▪️연산 칩 가까이에 배치하고

▪️열까지 관리해야 함.

이것도 해야하고, 저것도 해야하고, 바쁘다 바빠~!😵‍💫

그래서 HBM은 그냥 “좋은 메모리” 하나를 만드는 기술이 아니라

메모리 + 적층 + 연결 + 패키징 + 열관리 가 다 들어가는 기술에 가까움.

예전 반도체 경쟁을 보면

“누가 더 작게 만들었냐?”

“누가 더 많은 트랜지스터를 넣었냐?”

이런 이야기가 많았잖아요?

그런데 AI 시대에는 질문이 하나 더 생겼어요.

“좋아. 칩은 만들었는데 그 칩들을 어떻게 잘 붙일 건데?”🔗

이게 바로 첨단 패키징(Advanced Packaging)이 중요해지는 이유 중 하나.

좋은 칩 여러 개를 만들고도 연결을 제대로 못 하면 전체 시스템 성능을 끌어올리기 어렵기 때문이죠.😮‍💨

그리고 하나 더☝🏻

메모리를 위로 계속 쌓으면? 열도 관리해야 합니다.🔥🥵

칩이 여러 층으로 겹쳐져 있고 많은 데이터가 빠르게 오가니까 전력과 열 문제도 함께 중요해지는 거죠.

그래서 HBM 세대가 발전하면서 속도와 용량만 보는 게 아니라 전력 효율과 열 저항을 어떻게 낮출지도 중요한 경쟁 요소가 되고 있어요.

SK하이닉스는 2026년 6월 HBM4E 12단 샘플을 주요 고객에 공급했다고 발표했고, 해당 제품에서 성능·전력효율 개선과 함께 패키징 기술로 열 저항을 낮췄다고 설명했습니다. 다만 HBM4E는 현재 차세대 제품의 샘플 공급 단계이므로 널리 상용화된 제품처럼 보면 안돼요!

그러니까 HBM 경쟁은 누가 팬케이크 높이 쌓나 대회가 아님.

잘 쌓고🧱

잘 연결하고🔗

빠르게 보내고💨

전기는 덜 쓰고🔋

열도 잘 빼야 함❄️

갑자기 난이도 극악.😂

HBM 100층 쌓으면 더 좋은거 아냐?🤔

HBM이 좋다.

그러면 BURI식 해결법.😎

많이 쌓자!

HBM 1층.

HBM 2층.

HBM 3층.

...

HBM 100층.

HBM 롯데타워 완성.🏢

놉ㅋㅋㅋㅋ

반도체는 높이만 올린다고 끝나는 문제가 아님.

✔️층이 많아질수록 제조 공정은 더 어려워질 수 있고,

✔️칩 사이 연결의 안정성도 중요하고,

✔️열을 위쪽에서 어떻게 빼낼지도 고민해야 하고,

✔️전체 패키지 크기와 전력도 관리해야 하죠.

아파트도 높이만 올린다고 되는 게 아니잖아요?

🛗엘리베이터

⚡전기

🚰수도

🧯소방

관리비까지 많은게 필요해요.😨

HBM도 마찬가지로 많이 쌓는 것보다 잘 쌓는 것이 더 중요하다 이말이죠!!

그래서 HBM 세대에서 ‘몇 단’이라는 숫자가 눈에 띄기는 하지만 그 숫자 하나만으로 제품의 우열이 결정되는 건 아니라는 점.

📡속도

💾용량

🔋전력 효율

🌡️열

🎯수율

📦패키징

전부 같이 봐야 하죠.

HBM...생각보다 까다로운 팬케이크였음🥞😑

3. 🏭 AI 경쟁이 갑자기 ‘메모리 전쟁’이 된 이유

여기까지 읽은 구독자님덜.

이제 뉴스에서 HBM 세 글자 나오면

😎

“아~ 그거 GPU 옆에서 데이터 겁나 빨리 넘겨주는 메모리.”

라고 아는 척 가능 축하드립니다. 오늘도 쓸데없이 유익한 지식 +1🎉

그런데 HBM 이야기가 진짜 재미있는 건 여기서부터라궁!👇🏻

AI 붐이 커지면서 반도체 산업에서 누가 중요한가도 함께 달라지고 있거든요.

우리가 AI 뉴스를 보면 대부분

🤖 AI 모델

🟩 NVIDIA GPU

🏢 데이터센터

이런 것들이 가장 많이 보여요.

그래서 AI 경쟁이 마치 GPU만 많이 확보하면 되는 싸움처럼 느껴질 때가 있어요. 그런데 실제 AI 시스템은 훨씬 복잡합니다.

🛠️📦🔗🔋💦

GPU를 만들고

HBM을 만들고

GPU와 HBM을 패키징하고

서버를 연결하고

전력을 공급하고

열을 식히고

수천 개의 가속기를 서로 통신하게 만들어야 함.

즉, AI 경쟁은 이제 한 명의 천재가 뛰는 개인전이 아니라 겁나 큰 단체전.

🏃🏻‍♀️🏃🏻🏃🏻‍♂️🏃🏻‍♀️🏃🏻

GPU 회사 혼자 잘한다고 끝나는 게 아님.

✔️메모리 회사도 필요하고

✔️파운드리도 필요하고

✔️패키징 회사도 필요하고

✔️장비 회사도 필요하고

✔️소재 회사도 필요하고

✔️서버 회사도 필요해요

🫱🏻‍🫲🏻🫱🏻‍🫲🏻🫱🏻‍🫲🏻🫱🏻‍🫲🏻🫱🏻‍🫲🏻

그리고 좋은 기술을 개발하는 것과 그걸 대량으로

안정적으로 생산하는 것도 전혀 다른 문제죠.

연구실에서

👨🏻‍🔬
“성공했습니다!”

라고 외쳤다고 끝이 아님.

공장에서

🏭
“좋아요. 그럼 수십만 개 만들어주세요.”

👨🏻‍🔬
“아 그건 조금...”

하면 산업에서는 곤란함.😂

그래서 HBM 같은 제품에서는 단순히 최고 성능을 만드는 것뿐 아니라 얼마나 안정적으로 생산할 수 있는지, 생산 수율은 어떤지, 고객의 AI 가속기 일정에 맞춰 공급할 수 있는지도 중요하죠.

여기서 자랑스러운 우리나라 이야기가 나와요.🤭

한국은 메모리 반도체 산업에서 중요한 위치를 차지하고 있고, SK하이닉스와 삼성전자 모두 HBM을 개발·공급하는 회사입니다.

특히 AI용 메모리가 중요해지면서 예전에는 일반 독자들이 잘 몰랐던

HBM3E / HBM4 / 12단 / 패키징 / 수율 같은 단어가 뉴스 앞면으로 튀어나오기 시작했죠.

예전 구독자:

👁️👄👁️

“HB...뭐요?”

지금 구독자:

😎

“아~ AI가 데이터 빨리 먹어야 해서 그런 거잖아.”

갑자기 반도체 아는 사람 됨ㅋㅋㅋ

그리고 이 이야기는 자연스럽게 무역과 공급망으로도 이어진다궁.

AI 가속기 하나가 만들어지기까지 필요한 기술이 한 나라에서 전부 나오는 게 아니거든요.

어떤 회사는 칩을 설계하고

어떤 회사는 생산하고

어떤 회사는 HBM을 만들고

다른 회사가 패키징하고

또 다른 나라에서 장비와 소재를 공급합니다.

완성된 서버는 다시 데이터센터가 있는 나라로 이동하죠.📁➡️🌍

즉, AI는 화면 안에서 돌아가는 소프트웨어처럼 보이지만 한 겹씩 까보면...

🏭공장 나옴

💾반도체 나옴

🧪화학 소재 나옴

⚙️장비 나옴

⚡전기 나옴

❄️냉각 나옴

🚚물류 나옴

AI 너 생각보다 되게 육체파구나?🤔

그래서 AI 경쟁은

“누가 더 좋은 AI 모델을 만드느냐”

뿐만 아니라

“그 AI를 돌릴 하드웨어를
누가 안정적으로 만들고 공급할 수 있느냐”

의 경쟁이기도 한것.😉

AI 때문에 일반 메모리까지 영향을 받을 수 있을까?

여기서 한 단계 더 가볼까요?

AI 회사들이 HBM을 엄청 원합니다.

그럼 메모리 회사는 생각하겠죠.

🏭

“HBM 많이 만들어야겠네?”

여기서 재미있는 산업 문제가 생기는데 반도체 공장은 무한하지 않아요.

장비도 무한하지 않고, 공정 능력도 무한하지 않고, 투자할 돈과 시간도 한정되어 있어요.😣

그래서 AI용 고부가 메모리 수요가 크게 늘어나면 기업들이 생산능력과 투자를 어디에 우선 배분할지가 중요함. 이 변화가 일반 DRAM 같은 다른 메모리 시장의 공급과 가격에도 간접적으로 영향을 줄 가능성은 계속 논의되고 있어요.

다만

“AI 때문에 일반 메모리가 무조건 비싸진다!”

라고 단정하면 안돼요.❌

메모리 가격은 경기, 재고, 생산 투자, 수요, 제품 전환 등

여러가지 영향을 함께 받기 때문입니다.

그래도 재미있는 포인트는

나는 AI 서버 안 샀는데.

AI 모델도 안 만들고

GPU도 안 샀는데.

AI가 반도체 공장의 투자 방향을 바꾸면 언젠가 내가 사는 전자제품의 부품 시장에도 영향을 줄 수 있다는 것.😮

AI는 화면 안에만 있는 산업이 아니었던 거죠.💻

4. 🤖 AI가 커질수록 ‘계산’보다 ‘옮기는 일’도 중요해진다.

여기서 오늘 이야기를 조금 더 크게 봅시다.

우리는 컴퓨터 기술의 발전을 보통 계산이 빨라지는 역사라고 생각하는데요.

CPU가 빨라지고

GPU가 빨라지고

AI가 빨라지고

끝.

그런데 컴퓨터 안에서는 계산만큼 중요한 일이 하나 있죠.

🗂️💨

바로 데이터 옮기기.

생각해보면 현실에서도 비슷함.

BURI에게 자료조사 100개를 시켜놓고 자료는 지하 8층 창고에 있는데

BURI 책상은 12층임 엘리베이터 한 대.

🐥

“자료 가지러 다니다 하루 끝났는데요.”

ㅋㅋㅋㅋㅋㅋㅋㅋㅋ

컴퓨터도 마찬가지.

계산 장치가 아무리 빨라도 필요한 데이터가 멀리 있고 가져오는데 오래 걸리면 전체 작업 속도는 영향을 받을 수 밖에 없죠. 그리고 데이터 이동에는 단순히 시간만 드는 것도 아니고 전력도 필요해요.

데이터를 칩 사이로 계속 이동시키는 데에도 에너지가 들기 때문이죠.

그래서 현대 AI 하드웨어에서는 계산 장치 자체를 빠르게 만드는 것 뿐만 아니라

필요한 데이터를 가까이 두고, 넓은 길로 빠르게 이동시키는 것도 중요한 설계 목표가 됩니다.

HBM이 중요한 것도 바로 이 때문.

그런데 AI 모델이 계속 커지면 다시 문제가 생기쟈나.

🤖

“저 더 큰 모델 쓸래요.”

🧠

“HBM 더 필요해요.”

🤖

“더 많이요.”

🧠

“잠깐만요.”

HBM은 아주 빠르지만 모든 데이터를 무한대로 담을 수 있는 곳은 아니라서 컴퓨터에는 원래 메모리 계층(Memory Hierarchy)이라는 개념이 있어요.

쉽게 말하면 자주 쓰는 건 가까이, 가끔 쓰는 건 조금 멀리.

예를 들어 BURI 책상.

✏️ 지금 쓰는 펜 → 손에 있음

📒 매일 보는 노트 → 책상 위

📚 가끔 보는 책 → 책장

📦 거의 안 보는 자료 → 창고

모든 물건을 손에 들고 있을 순 없쟈냐.

👐🏻📦📚📒✏️

젠가처럼 와르르 무너짐ㅋㅋㅋ

컴퓨터도 모든 데이터를 가장 빠르고 비싼 메모리에 둘 수는 없습니다.

그래서 빠르지만 비싸고 상대적으로 작은 메모리.

조금 느리지만 더 큰 메모리.

훨씬 많은 데이터를 보관하는 SSD.

이런 식으로 역할을 나눠 사용합니다.

AI가 커질수록 중요한 질문도 이렇게 바뀝니다.

“데이터를 얼마나 갖고 있지?”

뿐만 아니라

“그 데이터를 어디에 둘 거지?”

“언제 HBM으로 가져오지?”

“계산이 끝나면 어디로 보낼 거지?”

AI 하드웨어가 점점

정리정돈 게임이 됨.

🤖🧹

BURI는 매주 구독자님께
쓸데없이 유익한 이야기를 가져다드립니다.💌

High Bandwidth Memory 말고.

High BURI Memory.

🧠🐥💨

이번 주 BURI도

여러분 기억 한구석에

차곡.

적층 완료.

🥞

다음주도 기다려주기❤️

BURI에게 말 걸기

주식회사 팀리부뜨 ㅣ info@reboott.ai ㅣ 부산 해운대구 센텀동로 45 ㅣ 1644-1664
수신거부 Unsubscribe
...수신거부 하지망