大模型對HBM的影響說明
摘要
隨著LLM與長文本KV Cache持續膨脹,運算瓶頸由算力轉向記憶體架構。高頻寬快閃記憶體(HBF)可望透過開放運算計畫(OCP)與UCIe標準化加速普及,透過模型架構創新結合HBF高容量與平行讀取的能力,填補高頻寬記憶體(HBM)與固態硬碟之間的落差;與此同時,記憶體廠商藉由先進封裝環節,試圖重組AI運算架構中的產業階序,但「軟體定義硬體」的生態也由運算延伸至儲存與I/O層與之抗衡。
隨著LLM與長文本KV Cache持續膨脹,運算瓶頸由算力轉向記憶體架構。高頻寬快閃記憶體(HBF)可望透過開放運算計畫(OCP)與UCIe標準化加速普及,透過模型架構創新結合HBF高容量與平行讀取的能力,填補高頻寬記憶體(HBM)與固態硬碟之間的落差;與此同時,記憶體廠商藉由先進封裝環節,試圖重組AI運算架構中的產業階序,但「軟體定義硬體」的生態也由運算延伸至儲存與I/O層與之抗衡。
© 2026 拓墣科技 及/或 集邦科技 版權所有