퀄컴 드래곤플라이와 HBC — HBM이 아닌 '메모리 옆 연산'

01핵심 개요

02드래곤플라이는 칩이 아니라 서버 풀세트

칩 한 장이 아니라 서버 한 대 부품 세트를 한 번에 공개. 엔비디아가 GPU·CPU·네트워크·SW를 통째로 묶어 팔기에, 맞서는 회사들은 전체를 직접 설계해야 입장권을 얻음(AMD 헬리오스, 구글 TPU 중심, 퀄컴 합류). (풀세트 전략 — 5:52)

• 가속기(NPU) — AI200/AI250/AI300 로드맵
• CPU — 자체 설계 C1000(오라이언 코어 250개+, 칩렛 방식)
• 연결망 — UALink·이더넷 등 개방형 규격(엔비디아 NVLink 독점과 대비)
• 메모리 — HBC
• 소프트웨어 — 모듈러(39억 달러 인수, 쿠다에 도전)

03디코드 병목과 메모리 월

AI 생성은 ① 프리필(질문 한 번에 이해) ② 디코드(한 토큰씩 생성)로 나뉨. 디코드는 토큰마다 수백GB 가중치 + 점점 커지는 KV캐시를 메모리에서 반복 호출 → 계산기는 노는데 책 나르느라 바쁜 전형적 데이터 병목. 모델 크기는 매년 10배씩 뛰는데 칩 처리능력은 못 따라가 격차(메모리 월)가 벌어짐. HBM은 이 틈을 메우려 길을 넓힌 비싼 해법. (메모리 월 — 11:38)

04HBC 구조 — 메모리 위에 연산을 얹다

3D 적층으로 저장 다이 위에 연산 다이를 얹어 메모리 바로 옆(위)에서 계산(near-memory computing). 가벼운 계산은 그 자리에서 끝내고 필요한 결과만 GPU로 전송 → 통행량 자체를 줄임.

⚠️ 133TB/s는 물리적 대역폭이 아니라 유효 대역폭(아낀 것까지 환산). HBM의 raw 수치와 직접 '몇 배' 비교는 잘못. (HBM vs HBC — 23:20)

05같은 문제, 정반대 해법 — 그록 vs 퀄컴

엔비디아조차 디코드 전용 그록 칩을 베라루빈에 7번째 칩으로 편입 — 디코드를 GPU 혼자 감당 못함을 업계 1등이 인정.

06삼성 PIM·PNM과의 관계

삼성은 수년 전부터 HBM-PIM·LPDDR-PIM을 공개. PIM(메모리 칩 안에 계산기 심기) vs PNM(메모리 곁에 계산기) vs HBC의 near-memory(메모리 위에 적층). 셋 다 "계산기를 메모리에 최대한 붙이자"는 같은 방향. HBC는 PNM에 가깝되 구현은 퀄컴 독자 — "방향은 같고 구현은 다르다". (삼성 PIM — 34:49)

07고객·일정과 한국 함의

확보 고객: CPU=메타(주커버그 직접 확인), HBC=마이크로소프트 애저, 맞춤칩=바이트댄스. 단 양산은 2028년 하반기, '전력당 성능 2배'도 추정치이며 그때 상대는 미래의 인텔·AMD.

HBC는 TSV·정밀 접합·발열·검사 등 고난도 적층 패키징을 요구 — SK하이닉스 HBM 주특기, 삼성 PIM/PNM 노하우와 정확히 겹침. 메모리 회사가 '주문대로 찍는 부품 공급사'에서 설계를 함께 하는 코디자인 파트너로 격상. 단 HBM 하나에서 작업 성격별로 메모리를 골라쓰는 시장으로 분화 → 기회이자 난이도 상승의 양날의 검.

08용어 사전