01핵심 개요
| 항목 | 내용 |
|---|---|
| 출연·형식 | 티타임즈TV '박영선의 테크토크'. HBM(고대역폭메모리) 연구자로 알려진 카이스트 김정호 교수와의 대담이다. |
| 계기 | 8월 4일 미국 산타클라라에서 열린 FMS(Future of Memory and Storage) 2026 행사에서 삼성전자가 GHBM, SK하이닉스·샌디스크·구글이 HBF를 각각 발표했다. |
| 핵심 주장 | 화자는 GPU 자체의 발전은 사실상 멈췄고, AI의 지능은 메모리 용량과 속도에서 나온다고 본다. 그래서 미래의 AI 데이터센터는 "메모리 팩토리"라고 재정의한다. |
| 기술 갈래 | HBM(디램 적층) 다음 단계로 삼성은 GPU 위에 메모리를 쌓는 GHBM(수직 방향), SK하이닉스·샌디스크는 낸드플래시를 쌓아 용량을 늘리는 HBF를 각각 제시했다고 설명한다. |
| 화자의 독자 연구 | 김정호 교수 연구실은 GHBM과 반대로 메모리를 아래에 두고 GPU를 위에 얹는 THBM(뒤집은 구조)을 연구 중이며, 이 대담에서 처음 공개한다고 밝힌다. |
| 산업 구도 | 엔비디아는 삼성·SK하이닉스 의존도 확대를 꺼려 HBF 채택에 소극적이고, 대신 구글·AMD·전용 추론칩(LPU) 진영이 HBF 표준화를 주도하는 것으로 화자는 추정한다. |
| 국가 전략 | 화자는 메모리(HBM·HBF)에서 전력 인프라, AI 모델·서비스까지 이어지는 풀스택을 갖추면 한국이 미·중과 겨루는 3대 강국이 될 수 있다고 전망한다. |
02핵심 기능/내용 구조
영상은 티타임즈의 2027 AX 전략 컨퍼런스 예고로 문을 열고, 곧바로 김정호 교수와의 대담 하이라이트로 이어진다. 전체는 크게 세 블록으로 구성된다. 첫 블록은 배경 설명으로, 8월 4일 산타클라라 FMS 2026 행사에서 삼성전자가 GHBM(GPU 바로 위에 메모리를 쌓는 3차원 디램 기술)을, SK하이닉스가 샌디스크·구글과 함께 HBF(HBM 이후 낸드플래시 기반 대용량 메모리)를 각각 공개했다는 사실을 정리한다. 둘째 블록은 기술 원리 설명이다. AI 추론 시 입력 토큰(컨텍스트)이 수천에서 수백만 단위로 늘면서 이를 임시 저장하는 KV캐시 용량이 HBM만으로는 부족해졌고, 이를 해결하기 위해 디램보다 용량이 10배 큰 낸드플래시를 쌓는 HBF 개념이 나왔다고 설명한다. 이어 GPU와 메모리를 어떻게 배치할지를 둘러싼 여러 방식—GHBM(GPU 위에 메모리를 쌓는 구조), THBM(메모리 위에 GPU를 얹어 냉각을 쉽게 하는 화자 연구실의 역발상 구조), CHBM(GPU와 공동 설계하는 커스텀 HBM)—을 순서대로 소개한다. 셋째 블록은 산업·국가 전략 논의로, GPU 성능 정체와 메모리 중심 컴퓨팅으로의 전환, AI 데이터센터를 "메모리 팩토리"로 재정의하는 화자의 관점, 그리고 한국이 메모리-전력-모델-서비스로 이어지는 풀스택을 구축해야 한다는 제언으로 마무리된다.
03기술적 맥락
HBM(High Bandwidth Memory)은 디램을 수직으로 쌓아 GPU 옆에 배치하는 고대역폭 메모리로, 현재 AI 가속기의 표준 부품이다. 화자는 AI 추론 과정에서 입력 문서·대화 맥락(토큰)이 예전 수천 단위에서 최근 수백만 단위로 늘었고, 이를 처리하기 위해 AI가 내부적으로 변환해 저장하는 KV캐시 용량도 함께 폭증했다고 설명한다. HBM은 용량 확장에 물리적 한계가 있어(GPU 옆에 8~16개까지만 붙일 수 있음), 디램보다 약 10배 용량이 큰 낸드플래시를 쌓아 올리는 HBF(High Bandwidth Flash) 개념이 SK하이닉스·샌디스크·화자의 연구실에서 거의 동시에 제기됐다고 밝힌다. 한편 삼성전자는 GPU와 HBM을 나란히 두는 기존 구조 대신 GPU 바로 위에 HBM을 쌓아 데이터 이동 거리를 줄이는 GHBM을 발표했다. 화자는 이 구조가 GPU 발열로 메모리가 녹을 위험이 있어 저전력 연산용(LPU·NPU급)에 한정될 것으로 본다. 이에 화자의 연구실은 반대로 메모리를 아래에, GPU를 맨 위에 얹어 냉각팬을 붙이기 쉽게 만든 THBM(Top-GPU HBM, 뒤집은 구조)을 연구 중이며 이를 아파트처럼 여러 개 군집화하는 방안도 검토한다고 밝힌다. 다만 화자는 현재까지는 설계·시뮬레이션 단계라고 인정한다. 추가로 HBM 베이스 다이에 GPU와 매칭되는 연산 기능을 넣어 표준 제품이 아닌 주문형 시스템 반도체로 만드는 CHBM(Custom HBM) 개념도 소개한다.
04전략적 의미
화자가 반복해서 강조하는 것은 GPU 자체의 성능 경쟁은 정체됐고 부가가치가 메모리와 전력 인프라로 넘어갔다는 진단이다. 오픈AI 같은 AI 기업이 매출 100만 원 중 70만 원을 인프라 비용으로 쓴다는 예시를 들며, 돈이 몰리는 곳이 메모리와 전력이기 때문에 AI 데이터센터를 "AI 팩토리"가 아니라 "메모리 팩토리"로 불러야 한다고 주장한다. 산업 구도 측면에서는 엔비디아가 삼성·SK하이닉스에 대한 의존도가 더 커지는 것을 경계해 HBF 표준화에 소극적이며, 대신 랜드(낸드) 기반 메모리를 광통신으로 외부 연결하는 방식을 검토하는 것으로 화자는 해석한다. 반면 구글·AMD·추론 전용칩(LPU) 진영은 HBF를 채택할 가능성이 높다고 본다. 국가 전략 차원에서는, 메모리에서 대체 불가능한 초격차를 유지한 뒤 전력 인프라, 자체 AI 모델, TV·핸드폰·자동차 등 자국 제품에 내장되는 AI 서비스까지 수직으로 통합하면 한국이 미국·중국과 함께 AI 3대 강국이 될 수 있다는 것이 화자의 결론이다. AI의 본질은 모델 차별화보다 인프라(메모리·전력) 확보의 자본 싸움으로 귀결되고 있다는 관점도 제시한다.
05핵심 논거 구조
- 전제: AI 추론에서 입력 토큰(컨텍스트) 길이가 급격히 늘어 KV캐시 저장 요구량이 폭증했다.
- 1차 결론: 기존 HBM(디램 적층)만으로는 용량이 부족해 대용량 낸드플래시를 쌓는 HBF가 필요해졌다.
- 경쟁 분기: 용량 확대(HBF, SK하이닉스·샌디스크)와 속도 개선(GHBM, 삼성)이라는 서로 다른 해법이 동시에 등장했다.
- 화자의 대안: GHBM의 발열 문제를 지적하며 메모리-GPU 배치를 뒤집은 THBM을 제시, 냉각 효율을 근거로 우위를 주장한다.
- 최종 결론: GPU 자체 성능 경쟁이 정체된 지금, 부가가치와 승부처는 메모리·전력을 포함한 시스템·인프라로 이동했다.
06활용 시나리오
- 반도체·메모리 기업의 R&D 우선순위 판단: HBM 다음 세대 경쟁이 용량 중심(HBF)과 속도 중심(GHBM)으로 갈리고 있다는 점을 참고해, 자사가 어느 방향에 투자할지 판단하는 근거 자료로 활용할 수 있다.
- AI 인프라 투자자의 밸류체인 분석: GPU 자체보다 메모리·전력 인프라로 부가가치가 이동한다는 화자의 진단을 근거로, HBM·HBF·낸드 관련 기업의 투자 비중을 재검토하는 데 참고할 수 있다.
- 데이터센터 설계자의 냉각·패키징 전략 수립: GHBM(발열 위험)과 THBM(냉각 용이)의 트레이드오프를 참고해 차세대 AI 가속기 랙 설계나 냉각 시스템 투자 방향을 검토할 수 있다.
- 정책 입안자의 국가 반도체 전략 수립: 메모리에서 전력·모델·서비스까지 수직 통합하자는 화자의 제언을 한국 반도체·AI 산업 정책 논의의 참고 프레임으로 활용할 수 있다.
07현황 및 전망
2026년 8월 4일 산타클라라 FMS 행사에서 삼성전자는 GHBM을, SK하이닉스는 샌디스크·구글과 함께 HBF의 표준화 및 마케팅을 시작했다고 화자는 전한다. SK하이닉스·샌디스크의 HBF 양산은 작년부터 준비돼 왔고 최근 표준화 발표와 마케팅이 본격화되는 단계다. 화자는 이 표준화가 엔비디아보다는 구글·AMD·추론 전용칩(LPU) 진영을 겨냥한 것으로 보인다고 추정한다. 화자 자신의 THBM 연구는 아직 설계·시뮬레이션 단계로, 이번 대담에서 처음 외부에 공개했다고 밝힌다. 중장기적으로는 AI 모델 자체의 차별화가 옅어지고(트랜스포머 구조로 수렴) 인프라, 특히 메모리와 전력이 AI 경쟁의 핵심 병목이자 승부처가 될 것이라고 전망한다. 이 자본 싸움을 감당할 수 있는 국가는 사실상 미국과 중국뿐이며, 한국은 메모리 초격차를 지렛대 삼아 전력 인프라와 자체 모델·서비스까지 갖춘 풀스택 국가로 도약할 필요가 있다는 것이 화자의 결론이다.
08용어 사전
| 용어 | 한줄설명 | 비유/예시 |
|---|---|---|
| HBM | 디램을 수직으로 쌓아 만든 고대역폭 메모리 | GPU 옆에 붙이는 현재의 표준 메모리 |
| HBF | 낸드플래시를 쌓아 HBM보다 용량을 약 10배 키운 메모리 | SK하이닉스·샌디스크·구글이 공동 추진 |
| GHBM | GPU 바로 위에 메모리를 쌓아 이동 거리를 줄인 구조 | 삼성전자가 발표, "건물 밖으로 안 나가고 엘리베이터만 타는" 구조 |
| THBM | 메모리를 아래, GPU를 위에 얹어 냉각을 쉽게 한 구조 | 화자 연구실이 처음 공개, GHBM을 "거꾸로" 뒤집은 형태 |
| CHBM | GPU와 공동 설계해 만드는 주문형(커스텀) HBM | 표준 부품이 아닌 시스템 반도체가 되는 방식 |
| KV캐시 | AI가 입력을 처리하며 내부 언어로 변환해 저장하는 임시 데이터 | 대화·문서 맥락을 기억하기 위한 저장소 |
| 컨텍스트(토큰) | AI에 입력되는 문장·문서의 단위 | 예전 수천 토큰에서 최근 수백만 토큰으로 증가 |
| 추론(인퍼런스) | 학습된 모델이 실제 질문에 답을 생성하는 과정 | 학습보다 지금 더 중요해진 단계 |
| 메모리 센트릭 컴퓨팅 | 메모리를 중심에 두고 CPU·GPU를 그 안에 통합하는 설계 방식 | 메모리가 주인공, GPU·CPU가 부속이 되는 구조 |
| AI 팩토리 → 메모리 팩토리 | AI 데이터센터를 메모리 설비 관점에서 재정의한 화자의 용어 | 젠슨 황의 "AI 팩토리"를 화자가 재명명 |