인공지능(AI) 기술의 핵심은 막대한 양의 데이터를 확보해서 AI에게 반복 학습시키는 거예요. 당연히 어마어마한 양의 데이터를 저장하고, 필요할 때마다 꺼내 쓰는 작업이 중요하죠. 저장 공간도 많이 필요하고, 더 빠르게 데이터를 불러올 수 있는 성능 좋은 메모리 반도체 수요가 늘어난 이유예요.

여기에 부합한 반도체가 고대역폭메모리(HBM)예요. HBM은 메모리반도체를 여러 층으로 쌓아 놓은 제품이에요. 기존의 반도체가 1층 건물이라면 HBM은 10층이 넘는 건물인 셈이죠.

보통 AI 학습에서 직접 연산을 담당하는 GPU는 데이터 처리 공장, 메모리반도체는 데이터 창고에 비유하는데요. HBM처럼 창고를 고층으로 지으면 한 건물에 더 많은 데이터를 보관하는 게 가능해져요. 고층 창고에선 많은 데이터를 효율적으로 꺼내 쓸 수 있어요. 1층짜리 창고를 여러 개 만들려면 공장(GPU)과 먼 곳에도 건물을 지어야 하는데, 고층 창고를 지으면 공장과 가까운 곳에만 창고를 만들어도 충분하죠. 창고가 가까우면 필요한 데이터를 보내는 시간을 줄일 수 있고요.

HBM의 또 다른 특징은 데이터를 전송하는 ‘도로’를 넓게 만든다는 점이에요. 기존 메모리반도체가 이용하는 도로가 1차선이라면, HBM의 도로는 10차선이 넘는 거예요. 당연히 도로에 오가는 차량(데이터)이 많아도 교통체증이 발생할 일이 적겠죠. HBM은 구조가 복잡하고, 만들기 어렵다 보니 과거엔 큰 주목을 받지 못했어요. 굳이 필요하지 않은 고성능 제품이었던 셈이에요. 하지만 AI 기술에 엄청난 잠재력이 있다는 시각이 우세해지면서, HBM을 바라보는 시각이 달라졌어요. 꼭 필요한 고성능 제품으로 빠르게 자리 잡게 됐어요.