2026-06-12 拓墣產業研究院

AI Inference時代的新記憶體需求

焦點報告 AI關鍵軟硬體

意見反映字體大小小中大

摘要

2026年1月NVIDIA發表由BlueField-4 DPU管理的CMX情境記憶儲存平台(CMX Context Memory Storage Platform)，擴展Local SSD、Share Storage之間的記憶體階層，以因應在AI Inference時代龐大的KV Cache儲存需求。此外，NVIDIA、Arm接連推出CPU機櫃以因應Agentic AI的CPU需求，也創造CPU RAM的增量市場。

本篇報告主要深度解析：(1) AI Inference的記憶體需求；(2) KV Cache Offloading帶動的SSD POD需求；(3) Agentic AI帶動的CPU RAM需求。期能解析AI Inference時代記憶體容量需求膨脹原因、現有解決方案與未來新記憶體需求結構。

一. AI Inference的記憶體需求
二. KV Cache Offloading帶動的SSD POD需求
三. Agentic AI帶動的CPU記憶體需求
四. 拓墣觀點

圖一　2023～2026年AI Models Average Output Tokens per Question
圖二　KV Cache應用範例
圖三　Agentic AI應用的CPU：GPU比例變化
圖四　NVIDIA Dynamo KV Cache Offloading順序(G1～G4)
圖五　NVIDIA Vera CPU架構
圖六　2026年NVIDIA CPU需求量情境分析結果

表一　2023～2026年各廠商CPU記憶體規格
表二　2026年NVIDIA CPU出貨量情境分析假設
表三　AI Inference帶動的記憶體需求動能彙整

會員專屬

您好，該資料屬會員權益方可瀏覽，您需成為會員且購買此產業項目權限才可觀看，詳細說明如下：

拓墣產業研究院之「產業資料庫」為付費的會員服務，若您尚未具備會員身份，歡迎您申請加入或是與我們的客服聯絡瞭解。
若您所屬公司機關已具有拓墣會員身份，並且設定予貴公司人員線上申請，請先行移至「申請會員帳號」填寫申請資料後送出，我們會儘快為您審核辦理。若未開放線上申請，請您詢問貴公司的承辦連絡人處理，謝謝。
由於貴公司無採購此產業項目，因此您將無法瀏覽此篇文章，欲查詢貴公司所購買的產業項目明細，請至「會員權益」查詢，謝謝。