AI記憶體應用需求不斷攀升帶動HBM持續進化
摘要
本篇報告首先聚焦於HBM何以在LLM與AIGC應用發展過程中扮演關鍵角色,接著從HBM的升級路徑著手,探究其如何透過異質記憶體整合策略擴大容量、升級頻寬以應對未來的AIGC應用需求。
一. LLM升級迭代與AIGC應用擴張令HBM需求未見止盡
二. 圍繞HBM的異質記憶體整合路徑將聚焦容量與頻寬升級
三. 拓墣觀點
圖一 文字生成流程與HBM使用狀況
圖二 圖片生成流程與HBM使用狀況
圖三 影片生成流程與HBM使用狀況
圖四 HBM4整合LPDDR示意圖
圖五 HBM整合NMC Die
圖六 HBM5整合SOCAMM示意圖
圖七 雙塔架構的HBM6示意圖
圖八 HBM7整合HBF示意圖
表一 歷代GPT可處理之Token數量
表二 三類AI生成過程對HBM之需求估算
表三 歷代HBM理論性能與規格參數
