跨越AI記憶體牆:儲存階層的重新分配與HBF剖析

摘要

在AI推理應用中,MoE架構和長文本處理使模型權重與KV Cache對記憶體容量需求大幅提升,讓運算瓶頸從算力不足,轉向記憶體容量受限。隨著海量溫數據快速增加,將驅動儲存階層重構,由HBM處理熱數據,HBF承載溫數據以優化成本效益;然HBF的商業化仍需克服先進封裝製程與NAND Flash固有特性的挑戰。

一. LLM的發展瓶頸:模型架構的轉變影響運算架構
二. 從算力瓶頸到儲存階層的重塑
三. 拓墣觀點

圖一 MoE特性說明
圖二 AI儲存階層廠商布局策略說明
圖三 儲存階層的熱、溫、冷架構說明
圖四 「H3」架構說明

表一 HBM與HBF規格對照

 

跨越AI記憶體牆:儲存階層的重新分配與HBF剖析

請輸入您的會員帳號與密碼,即可瀏覽全文

Login 如何購買 下載完整報告檔案 1.20MB PDF

會員專屬
您好,該資料屬會員權益方可瀏覽,您需成為會員且購買此產業項目權限才可觀看,詳細說明如下:
  • 拓墣產業研究院之「產業資料庫」為付費的會員服務,若您尚未具備會員身份,歡迎您申請加入或是與我們的客服聯絡瞭解。
  • 若您所屬公司機關已具有拓墣會員身份,並且設定予貴公司人員線上申請,請先行移至「申請會員帳號」填寫申請資料後送出,我們會儘快為您審核辦理。若未開放線上申請,請您詢問貴公司的承辦連絡人處理,謝謝。
  • 由於貴公司無採購此產業項目,因此您將無法瀏覽此篇文章,欲查詢貴公司所購買的產業項目明細,請至「會員權益」查詢,謝謝。
  • 客戶服務專線: 02 8978-6498 ext.822
    客戶服務信箱:

宣傳推廣

新聞稿

NVIDIA加入Windows on Arm陣營,推升Arm架構AI筆電2029年滲透率達34.2%

根據TrendForce最新研究指出,目前AI筆電主要由Intel、AMD、Apple與Q [...]

受惠於AI資料中心規模擴張,預估2026年EML與CW-DFB LD總體月產能達5070萬顆

根據 TrendForce 最新研究指出,隨著AI資料中心規模擴張與算力軍備競賽,傳輸速率 [...]

DRAM持續供不應求使供應商握HBM定價主導權,預估2027年HBM合約價將倍數上漲

根據TrendForce最新研究指出,2H25以來在一般型DRAM(conventiona [...]

Agentic AI刺激記憶體需求擴張,預估2027年全球記憶體產值將擴大至1.28兆美元

根據TrendForce最新記憶體產業研究,AI發展從大型模型訓練轉向以推理為核心的Age [...]

1Q26全球新能源車銷量年減2%,Tesla重回純電車銷售冠軍

根據TrendForce最新統計,2026年第一季全球純電動車(BEV)、插電混合式電動車 [...]