지난 몇 년간 AI 하드웨어 이야기는 사실상 회사 하나, 칩 하나에 관한 이야기였습니다. 엔비디아가 GPU를 만들고, 모두가 그 칩을 사려고 줄을 서고, 주가가 치솟고, 그 과정이 반복됐습니다. 구하고 싶어도 못 구하는 것은 언제나 GPU였습니다. 프런티어 모델을 학습하거나 돌리려면 더 많은 연산이 필요했고, 연산은 곧 엔비디아 실리콘을 뜻했습니다.
관련해서 다음 병목은 열과 전력도 함께 참고하시면 좋습니다.
같은 벽을 다른 각도에서 — 메모리를 GPU 위에 얹는 삼성 zHBM 컨셉도 함께 보면 좋습니다.
그런데 이 구도가 조용히 바뀌고 있습니다. 이제 정말로 귀한 것은 GPU가 아닙니다. 그 GPU에 붙는 메모리입니다.
문제의 메모리, HBM
문제의 메모리는 HBM, 고대역폭 메모리입니다. 낯선 용어라면 간단히 풀어 보겠습니다. 노트북에 들어가는 것과 같은 기본 DRAM을 위로 쌓아 칩 탑처럼 만든 뒤, GPU 바로 옆에 넓은 통로로 직접 연결한 것입니다. 목적은 오직 대역폭, 즉 데이터를 프로세서에 얼마나 빨리 밀어 넣느냐입니다.
2026년, 업계는 이 메모리의 다음 세대인 HBM4로 넘어갔습니다. 표면적인 헤드라인은 여기까지입니다. 그런데 더 흥미로운 대목은 HBM이 왜 갑자기 이렇게까지 중요해졌는가, 그리고 중요해진 그 순간 무슨 일이 벌어졌는가입니다.
실제로 출하되는 제품부터 봅니다
실제로 출하가 시작된 제품을 놓고 이야기하겠습니다.
엔비디아의 다음 플랫폼 베라 루빈(Vera Rubin)은 풀 프로덕션에 진입했습니다. 젠슨 황이 6월 1일 GTC 타이베이 기조연설에서 이를 확인했고, 첫 출하는 하반기에 클라우드 파트너들로 향합니다. 루빈은 HBM4를 중심으로 설계됐습니다. 루빈 GPU 한 개에 HBM4 여덟 개를 얹어 메모리 288GB, 총 대역폭 최대 22TB/s에 이릅니다. 단순한 스펙 과시가 아닙니다. 이 칩들이 굶주려 하는 자원이 바로 대역폭이고, 루빈은 물리 법칙이 허락하는 최대 속도로 HBM4에서 데이터를 공급받아야 하는 기계입니다.
공급 쪽에서는 이 물건을 실제로 만들 수 있는 세 회사가 경쟁 중입니다. SK하이닉스는 CES 2026에서 세계 첫 16단 HBM4를 선보였습니다. DRAM 16장을 한 패키지에 쌓아 스택당 48GB에 2TB/s가 넘는 대역폭을 냅니다. 양산 목표는 3분기입니다. 삼성전자는 5월 말 그다음 세대인 HBM4E 샘플 출하를 시작했습니다. 12단 스택으로 핀당 속도를 16Gbps, 스택당 대역폭을 약 3.6TB/s까지 끌어올리고 있습니다. 세 번째 회사인 마이크론은 규모는 작지만 경쟁에 참여하고 있습니다. 세 곳 모두 루빈의 승인된 공급사입니다.
숫자를 과대 해석하기 전에
숫자를 과대 해석하기 전에 짚을 것이 있습니다. ’16단’ 스택은 정말로 만들기 어렵습니다. DRAM 한 장을 30마이크로미터 안팎, 종이 한 장보다 얇게 갈아낸 뒤, 웨이퍼가 휘거나 접합이 어긋나지 않게 열여섯 장을 정해진 높이 안에 쌓아야 합니다.
CES 시연은 대량 양산에서의 높은 양품률과 같지 않습니다. ‘세계 최초’라는 말은 ‘하나는 만들 수 있다’로 읽어야지 ‘100만 개를 값싸게 만들 수 있다’로 읽으면 안 됩니다. 이 두 가지 사이의 간극이 바로 이 이야기의 핵심입니다.
HBM이 모두가 필요로 하는 물건이 된 바로 그 순간, HBM은 아무도 충분히 구할 수 없는 물건이 됐습니다.
메모리를 만드는 사람들이 부족을 경고합니다
SK하이닉스 CEO 곽노정 사장이 한 발언은 한 번 멈춰 서서 볼 만합니다. 그는 2027년이 공급 관점에서 업계 역사상 최악의 해가 될 것이라고 전망했습니다. 여기서 최악이란, 수요가 공장이 만들어낼 수 있는 양을 워낙 앞질러 고객들이 이미 몇 년 치 메모리를 미리 예약해 두는 상황을 뜻합니다.
그는 이것을 한 해짜리 일시적 현상으로 그리지도 않았습니다. 수요가 공급을 앞지르는 상태가 2030년 이후까지 이어질 것으로 내다봤습니다. 웨이퍼 생산능력은 연 12퍼센트 안팎으로만 늘어날 전망인데, 그 새 생산능력의 대부분이 HBM으로 향할 것으로 보입니다. HBM은 같은 용량을 만드는 데 일반 DRAM보다 몇 배 넓은 웨이퍼 면적을 쓰기 때문입니다. 삼성전자도 같은 경고를 되풀이했습니다. 사실상 업계 전체가 그렇습니다.
다시 읽어 볼 대목입니다. 메모리를 만드는 당사자들이, 앞으로 몇 년간 그 메모리가 충분하지 않을 것이라고 직접 말하고 있습니다.
인사이트: 병목이 칩에서 메모리로 내려갔습니다
여기서 따옴표를 붙일 표현은 메모리 월(memory wall)입니다. 컴퓨팅 분야의 오래된 개념인데, 지금 다시 강하게 부상하고 있습니다.
짧게 풀면 이렇습니다. 수십 년 동안 프로세서는 메모리보다 훨씬 빠른 속도로 빨라졌습니다. 칩은 계산을 할 수 있는데, 데이터가 도착하기를 기다리느라 자꾸 멈춰 섰습니다. 연산은 앞서 달렸고, 그 연산에 데이터를 대는 통로는 뒤처졌습니다. 이 간극이 바로 벽입니다.
오늘날의 AI는 그 어떤 것보다 이 벽에 세게 부딪힙니다. 프런티어 모델은 수천억 개에 이르는 가중치의 산더미이고, 그 모델을 돌린다는 것은 이 가중치를 프로세서에 몇 번이고 흘려보낸다는 뜻입니다. 병목은 대개 GPU가 계산을 할 수 있느냐가 아닙니다. 그 숫자들을 GPU에 충분히 빨리 가져다줄 수 있느냐입니다. 그래서 AI 성능을 가르는 진짜 척도가 조용히 순수 연산에서 메모리 대역폭으로 옮겨 갔습니다. HBM4는 이 벽에 대한 업계의 답입니다. 더 넓고, 더 빠르고, 더 높은 통로입니다. 그리고 꽤 훌륭한 답입니다.
다만 계속 되돌아오게 되는 지점이 있습니다. 더 좋은 통로를 만들어도, 통로를 충분히 많이 만들지 못하면 소용이 없습니다. 여기에 반전이 있습니다. HBM은 병목의 해법이어야 했습니다. 그런데 이제 HBM 공급 자체가 새로운 병목이 됐습니다. 예전에 AI의 성장은 엔비디아가 GPU를 얼마나 출하하느냐에 묶여 있었습니다. 지금은 세 회사가 HBM을 물리적으로 얼마나 만들어낼 수 있느냐에 점점 더 묶이고 있습니다. 그리고 그들 스스로의 말대로, 그 양은 몇 년간 충분하지 않습니다. 희소성이 스택에서 한 층 아래로, 프로세서에서 그것을 공급하는 메모리로 내려간 것입니다.
이 흐름은 이 블로그가 한동안 짚어 온 주제와 맞닿아 있습니다. 티모신이 모델을 4분의 1 크기로 줄인 이야기를 다뤘을 때 요점은, 조금 더 높은 점수를 내는 큰 모델보다 잘 추론하는 작고 효율적인 모델이 더 중요하다는 것이었습니다. 지렛대는 무식한 규모가 아니라 효율에 있기 때문입니다. AI에 메모장을 쥐어준 연구를 살펴봤을 때도, 거대한 컨텍스트 윈도우를 들이붓는 것보다 작은 스크래치패드를 영리하게 쓰는 편이 나았습니다. 같은 주제가 계속 반복됩니다. 제약은 더 많은 연산이 아니라 메모리를 더 똑똑하게 쓰는 데 있다는 것입니다. HBM 부족은 그 교훈을 하드웨어 현실로 다시 증명한 셈입니다. 부족한 것이 메모리 대역폭일 때, 이기는 모델은 그것을 덜 필요로 하는 모델입니다.
그렇다면 데이터센터 칩을 살 일이 없는 사람에게 이것은 무슨 의미일까요? 생각보다 함의가 큽니다. AI의 속도와 비용, 즉 좋은 모델이 얼마나 빨리 개선되는지, 서비스를 운영하는 데 얼마나 드는지는 이제 엔비디아의 설계 연구실이 아니라 한국과 미국의 소수 메모리 공장에서 점점 더 결정됩니다. HBM 부족이 2027년과 그 이후까지 이어지면 AI 연산 비용은 높게 유지되고, 그 비용은 그 위에 지어진 모든 것으로 스며듭니다. 지정학적 측면도 있습니다. 세계의 AI 야심이 사실상 세 회사 공장의 생산량에 얹혀 있고, 그 생산능력의 상당 부분이 한 나라에 몰려 있습니다. 기술 산업 전체가 미래를 걸 만큼 중요한 기반치고는 너무 좁습니다.
다만 반대편도 정직하게 짚겠습니다. 비관은 쉽고 대개 틀립니다. 부족은 공급에 일어날 수 있는 가장 좋은 일이기도 합니다. SK하이닉스와 삼성전자, 마이크론은 지금 새 팹과 패키징 라인에 자본을 쏟아붓고 있습니다. 수요가 있고 마진이 대단하기 때문입니다. 생산능력은 늘어날 것입니다. 메모리와 패키징의 새로운 접근법도 연구되고 있습니다. 벽은 세대마다 뒤로 밀립니다. 그것이 이 산업의 역사 전체입니다. HBM4는 그 벽을 의미 있게 밀어냅니다. 관건은 업계가 적응하느냐가 아니었습니다. 언제나 적응합니다. 관건은 그 부족이 얼마나 오래 가고, 그동안 얼마나 비싼가입니다.
마무리
제 판단은 이렇습니다. HBM4는 실질적인 진전이자 실질적인 완충 밸브이고, 공급 부족은 실질적인 문제이며, 이 둘은 모두 사실입니다. 핵심은 화려한 288GB 스펙표가 아닙니다. 지구에서 가장 큰 HBM 제조사의 CEO가, 내년이 업계 역사상 가장 빡빡한 해가 될 것이며 그 상황이 2030년 전에는 완전히 풀리지 않을 것이라고 담담하게 말하고 있다는 사실입니다.
삽을 파는 사람들이 삽이 부족하다고 경고한다면, 그 말을 새겨들을 필요가 있습니다. AI의 병목이 이동했습니다. 이제 칩이 아닙니다. 메모리이고, 더 정확히는 그 메모리를 만들 수 있는 소수의 공장입니다.
※ 이 글은 정보 제공 목적입니다.
원문 출처 / Source: https://www.tomshardware.com/tech-industry/artificial-intelligence/samsung-and-sk-hynix-warn-ai-driven-memory-shortages-could-last-until-2027-and-beyond-as-hbm-demand-explodes-customers-already-reserving-supply-years-ahead-while-the-wider-dram-market-begins-to-tighten , https://money.usnews.com/investing/news/articles/2026-07-10/sk-hynix-ceo-sees-worst-ever-memory-supply-shortage-in-2027-says-demand-to-outstrip-supply-beyond-2030 , https://www.techtimes.com/articles/319203/20260627/nvidia-vera-rubin-ships-this-fall-8-cloud-partners-10x-lower-token-cost-hbm4-triples-bandwidth.htm , https://www.koreatimes.co.kr/business/tech-science/20260106/ces-2026-sk-hynix-unveils-16-high-48gb-hbm4 , https://semiconductor.samsung.com/news-events/news/samsung-electronics-begins-shipment-of-industry-first-hbm4e-samples/
이미지: Igor Omilaev / Unsplash
댓글 남기기