엔비디아는 이번주 자사 블로그를 통해 차세대 루빈 세대 AI 인프라에 100% 액체냉각 구조를 적용한다고 발표했습니다. 핵심이 되는 칩과 네트워킹 부품을 포함한 주요 구성 요소를 하나도 빠짐없이 액체로 냉각한다는 건데요. 시스템 내부에는 아예 냉각팬을 두지 않고, 폐쇄된 환경 안에서 냉각수가 순환하며 열을 처리하는 구조입니다.

사실 게이밍 PC에서 발생하는 열도 금세 90℃까지 다다른다는 점을 감안하면 45℃는 여전히 컴퓨터에게는 ‘냉수’입니다. 다만 기존 데이터서버에서 냉각수는 서버실 공기를 식히는 게 주요 임무였습니다. 정확히 말하자면 대형 에어컨 속의 냉각수가 우선 공기를 식히고, 그 공기가 서버실로 들어가 다시 칩이 들어있는 랙 내부를 냉각해야 했죠. 즉 AI칩을 비롯한 부품을 직접 식히는 게 공기냐 물이냐의 차이가 나는 겁니다. 45℃의 물은 충분히 AI 칩을 식힐 만큼 차갑지만, 45℃의 '공기'는 사람에게도 AI 칩에게도 뜨겁다는 이야기입니다.

엔비디아는 이제 칩을 식히기 위해 더 이상 서버실 전체를 차갑게 유지할 필요가 더 이상 없다고 했습니다. AI 서버를 구성하는 각각의 장치에 냉각팬을 장착하는 게 아니라, 데이터센터 내를 통합적으로 순환하는 액체가 열이 발생하는 칩 바로 위에서 열을 가져가도록 하는 게 이번 구상이기 때문입니다.

비유하자면 사무실 컴퓨터 내부에 각각 냉각팬을 설치하는 대신, 냉각수 파이프를 사무실 컴퓨터 전체에 연결해 순환하는 하나의 시스템으로 구성한다는 겁니다. 

원래 기존 데이터센터는 서버에서 나오는 열을 처리하기 위해 차가운 공기를 대량으로 공급해야 했습니다. 이 과정에서 팬, 칠러(냉동기), 냉각탑 같은 설비가 필요했고, 날씨가 더워질수록 냉각 설비가 쓰는 전기도 크게 불어났습니다. 엔비디아는 과거 데이터센터 전력 소비의 최대 40%가 냉각에 쓰였다고 설명합니다.

이런 냉각비용을 ‘따뜻한 냉각수’를 서버실 전체에 순환시키는 방법으로 획기적으로 줄이겠다는 거죠. 이때 사용되는 냉각수는 물 75%와 프로필렌글리콜 25%로 구성되는데, 이 액체는 섭씨 45도 상태로 서버 안에 들어가 칩 위의 방열판을 지나며 열을 흡수하고, 약 섭씨 55도로 빠져나옵니다. 이 조건에서도 칩 온도는 가정집 내부의 ‘게이밍 PC’보다 뜨겁지 않죠.

중요한 점은 서버실을 예전처럼 차갑게 만들 필요가 줄어든다는 점입니다. 각각의 칩이 열을 서버실로 내뿜고, 그 서버실을 다시 식히는 대신, 냉각수 파이프를 통해 아예 서버실 바깥으로 열을 방출할 수 있기 때문입니다.

이를테면 사무실 PC가 열을 내뿜고, 그 열을 사무실 에어컨이 다시 식히는 대신, 사무실 PC 전체와 연결된 냉각수 파이프가 건물 밖으로 열을 실어나르는 것과 마찬가지입니다.

이렇게 하면 날씨가 적당한 지역에서는 별도의 냉각 설비 없이도 건물 밖 ‘드라이쿨러’를 통해 열을 배출할 수 있습니다. 드라이쿨러는 일종의 건물 밖에 설치된 대형 라디에이터라고 보시면 됩니다. 겨울철 난방 설비로 사용하는 라디에이터의 원리와 같습니다. 라디에이터로 난방을 할 때는 연료를 써서 온수를 만들어야 하지만, 이 경우에는 이미 칩이 내뿜는 열기로 온수를 만들어서 외부를 ‘따뜻하게’ 만듭니다. 즉 외부를 덥히는 만큼 내부의 열을 식힐 수 있습니다.

물 사용량도 당연히 줄일 수 있는데요. 기존 냉각탑 기반 시스템은 물을 증발시키는 방식으로 열을 처리하기 때문에 운영 과정에서 물 손실이 발생합니다.

엔비디아는 냉각수를 증발시키지 않고 순환하게 만드는 방식으로 메가와트당 약 260만 갤런에 달하던 연간 데이터센터 물 사용량을 거의 0에 가깝게 줄일 수 있다고 설명했습니다. 처음 채운 냉각수가 시설 수명이 다할 때까지 순환하는 구조이기 때문입니다.

전기요금 절감 효과도 있죠. 업계에서는 서버를 순환하는 목표 온도를 섭씨 1도 높일 때마다 냉각 에너지 비용을 약 4% 줄일 수 있다고 봅니다. 엔비디아는 50메가와트급 대규모 데이터센터가 액체냉각 인프라로 전환하면 냉각 관련 에너지와 물 비용을 연간 400만달러 이상 줄일 수 있다고 설명했습니다.

공기에 대한 의존도가 적어져 같은 공간에 더 많은 AI 연산 장비를 넣을 수 있습니다. 기존에 6개 랙 유닛을 차지하던 시스템을 2개 랙 유닛에 넣을 수 있다는 것이 엔비디아의 설명입니다. 쉽게 말해 같은 갯수의 PC를 배치하는 데 사무실 책상 6개가 필요했던 걸 책상 2개에 우겨넣을 수 있다는 소립니다.

최근 미국에선 지역사회와 규제 당국이 데이터센터의 전력·물 사용 문제를 더 민감하게 바라보고 있는데요. 냉각에 쓰이는 전기와 물을 줄일 수 있다면, AI 데이터센터 확산 과정에서 가장 부담스러운 문제 하나를 덜어낼 수 있지 않을까요?