AI推論瓶頸的突圍:從算力瓶頸轉向儲存階層的革新

摘要

隨著LLM與長文本KV Cache持續膨脹,運算瓶頸由算力轉向記憶體架構。高頻寬快閃記憶體(HBF)可望透過開放運算計畫(OCP)與UCIe標準化加速普及,透過模型架構創新結合HBF高容量與平行讀取的能力,填補高頻寬記憶體(HBM)與固態硬碟之間的落差;與此同時,記憶體廠商藉由先進封裝環節,試圖重組AI運算架構中的產業階序,但「軟體定義硬體」的生態也由運算延伸至儲存與I/O層與之抗衡。

一. 推理時代下記憶體的位階轉變與HBF標準化
二. HBF的通用性設計與AI推論之記憶體需求
三. 拓墣觀點

圖一 軟體與架構層優化說明
圖二 單次推理資料流示意
圖三 大模型對HBM的影響說明
圖四 Google的CAG商業模式說明
圖五 「Storage-Next計畫」與「cuFile+ SCADA框架」說明

表一 HBF技術標準說明
表二 Samsung次世代3D記憶體技術藍圖
表三 RAG與CAG差異對照說明
表四 Engram、CAG、RAG模型架構比較說明

 

AI推論瓶頸的突圍:從算力瓶頸轉向儲存階層的革新

請輸入您的會員帳號與密碼,即可瀏覽全文

Login 如何購買 下載完整報告檔案 1.43MB PDF

會員專屬
您好,該資料屬會員權益方可瀏覽,您需成為會員且購買此產業項目權限才可觀看,詳細說明如下:
  • 拓墣產業研究院之「產業資料庫」為付費的會員服務,若您尚未具備會員身份,歡迎您申請加入或是與我們的客服聯絡瞭解。
  • 若您所屬公司機關已具有拓墣會員身份,並且設定予貴公司人員線上申請,請先行移至「申請會員帳號」填寫申請資料後送出,我們會儘快為您審核辦理。若未開放線上申請,請您詢問貴公司的承辦連絡人處理,謝謝。
  • 由於貴公司無採購此產業項目,因此您將無法瀏覽此篇文章,欲查詢貴公司所購買的產業項目明細,請至「會員權益」查詢,謝謝。
  • 客戶服務專線: 02 8978-6498 ext.822
    客戶服務信箱:

宣傳推廣

新聞稿

3Q26全球OLED監視器出貨年增翻倍,二至五名排位大洗牌

根據TrendForce最新調查,2026年第三季全球OLED監視器出貨動能強勁,單季出貨 [...]

SpaceX採用Qualcomm 5G晶片方案,有望降低數萬座基地台部署成本

近日SpaceX與Qualcomm宣布簽訂多年期供應合約,未來SpaceX基地台將大量搭載 [...]

3Q26全球電視出貨年減3.6%,品牌搶攻Mini LED、RGB Mini LED等高階市場

根據TrendForce最新電視產業研究,2026年第三季因年底促銷旺季備貨需求逐步升溫, [...]

整機庫存堆高,部分PC OEM調整2027年記憶體採購策略

根據TrendForce最新記憶體產業研究,記憶體價格上漲超過一年,消費性電子產業成本壓力 [...]

Penguin Solutions出售Cree LED給私募股權公司,照明LED供應鏈格局受關注

Penguin Solutions於11月4日公告,已與私募股權公司Transom Cap [...]