南韓「HBM 之父」金正浩：AI 本質不是 GPU，而是記憶體
Celine
GPU 利用率僅約 10％？「HBM 之父」直指 AI 真正瓶頸在記憶體
被譽為「HBM 之父」的韓國科學技術院（KAIST）教授金正浩（Kim Jung-ho）近日接受專訪時，提出顛覆市場認知的觀點。他認為，人工智慧（AI）的核心並非 GPU，而是記憶體（Memory），未來 AI 競爭的勝負，將由記憶體容量與頻寬決定，而非單純依賴運算晶片性能。
金正浩指出，目前 AI 產業普遍將焦點放在 GPU 算力競賽，但真正限制 AI 效能的，其實是資料存取效率，因此他多年來始終堅持一個核心觀點：「AI = Memory（AI 等於記憶體）。」
GPU 大量時間都在等待 百萬顆 GPU 真正運算僅約 10％
金正浩在專訪中透露，即使部署 100 萬顆 GPU，真正投入運算的時間可能僅約 10%。
他解釋，每當 ChatGPT 生成一個字詞時，系統都需要持續從高頻寬記憶體（HBM）讀取資料、完成運算，再將結果寫回記憶體，整個過程中，大部分時間都耗費在資料讀寫。
「讀取與寫入幾乎占據全部時間，GPU 反而是在旁邊等待。」他表示，即使透過演算法持續最佳化，目前 GPU 整體利用率也很難突破 30%，顯示 AI 效能瓶頸並非 GPU 本身，而是資料搬移效率。
GPU 發展逼近極限 推理時代記憶體重要性大幅提升
金正浩指出，GPU 性能提升正逐漸接近物理極限。由於 GPU 只能透過增加晶片面積提升運算能力，但散熱問題限制其無法像 HBM 一樣進行高層數垂直堆疊，因此發展空間日益受限。
他認為，隨著 AI 產業由模型訓練（Training）逐步邁向推理（Inference）時代，記憶體的重要性將被市場重新定價；推理模型最大的需求，不是增加 GPU 數量，而是能容納更多資料，而這正取決於記憶體容量。
他表示，包括 Google Gemini、OpenAI ChatGPT，以及 Anthropic Claude 等大型 AI 模型，未來競爭力最終將取決於「誰擁有更大的記憶體容量」。
HBM 之後還有 HBF、HBS 打造 AI「百層摩天大樓」
談及下一代記憶體技術，金正浩提出 HBF（High Bandwidth Flash）的概念。
他指出，HBF 是將 NAND Flash 比照 HBM 架構進行垂直堆疊，提供更高容量、更低成本的儲存方案，用來處理大量「冷資料（Cold Data）」。
雖然 HBF 速度不如 HBM，但容量更大、成本更低，未來將扮演 AI 資料儲存的重要角色。
金正浩預估，目前仍屬於 HBM 時代，但約 10 年後，HBF 及 NAND Flash 市場規模有望超越 HBM。
HBS：SRAM 堆疊打造超高速 AI 記憶體
另一項未來技術則是 HBS（High Bandwidth SRAM）。
金正浩提出構想，希望將整片 12 吋晶圓直接製作成 SRAM，再垂直堆疊 12 至 16 層，使容量由目前約 100GB 提升至 1600GB。一旦技術成熟，資料存取速度可望提升約 1000 倍，同時大幅提升 AI 模型所需的記憶體容量。
未來 AI 晶片將採 3D 百層架構 GPU 放最上層散熱
金正浩更描繪未來 AI 晶片架構藍圖。他表示，未來 AI 處理器將採用類似摩天大樓的 3D 封裝設計，由 HBM、HBF 及 HBS 分別形成多層堆疊，而 GPU 則位於最上層，以利散熱。
這種高度整合的 3D 架構，將有效解決未來 AI 持續增加的資料存取需求。
HBM4 改變產業規則 記憶體廠掌握更多定價權
金正浩認為，HBM4 將成為記憶體產業的重要分水嶺。過去 DRAM 屬於標準化產品，價格主要由市場供需決定，買方擁有較高議價能力；然而，自 HBM4 開始，由於產品需依據輝達（NVIDIA）、Google、超微（AMD）等 AI 客戶需求進行客製化設計，記憶體廠商往往必須在研發初期便取得長期供貨協議（LTA），才會投入開發。
他指出，在 AI 企業積極搶購高頻寬記憶體的情況下，HBM 價格有望持續維持高檔，也讓記憶體廠商逐步掌握更多市場主導權。
AI PC、AI 手機成本將由記憶體決定 Ultra HBM 時代可望來臨
金正浩進一步預測，未來 AI PC 及 AI 手機的成本結構，也將由記憶體主導。隨著 Agentic AI（代理型 AI）及 Physical AI（實體 AI）快速發展，記憶體需求可能再增加 1000 倍。
他認為，未來產業將邁入「Ultra HBM（超高效能高頻寬記憶體）」的新世代，記憶體將從過去的配角，正式躍升為 AI 產業最重要的核心技術與價值來源。
市場人士認為，若金正浩的預測成真，未來 AI 半導體競爭將不再只是 GPU 算力競賽，而是圍繞高頻寬、高容量記憶體展開的新一輪技術與供應鏈競爭，全球 DRAM、HBM 及 NAND Flash 相關業者也可望持續受惠於 AI 長期成長趨勢。
