釋放NPU潛能:SLM與異質整合協同設計下的混合AI架構轉型

摘要

隨著推論從雲端轉移至邊緣端,驅動小型語言模型(SLM)與硬體效能架構同步創新,形成混合AI運算模式。由於邊緣裝置受限於功耗與散熱條件,且推論速度取決於記憶體頻寬而非單純NPU算力,促使硬體朝異質整合架構發展,其中NPU以低功耗、高能效特性成為終端AI關鍵硬體;然而,目前多數AI模型仍以GPU優化,模型與硬體的協同設計將是發揮NPU效能的關鍵。

一. 代理AI將成AI走入現實生活應用的關鍵
二. 混合AI架構
三. 拓墣觀點

圖一 SLM輕量化技術分類說明
圖二 混合AI的硬體光譜
圖三 使用NPU執行的應用程式舉要
圖四 NPU推理效能優化的軟硬體協同架構

表一 SLM舉要
表二 各晶片廠商的NPU架構與API舉要

 

釋放NPU潛能:SLM與異質整合協同設計下的混合AI架構轉型

請輸入您的會員帳號與密碼,即可瀏覽全文

Login 如何購買 下載完整報告檔案 1.07MB PDF

會員專屬
您好,該資料屬會員權益方可瀏覽,您需成為會員且購買此產業項目權限才可觀看,詳細說明如下:
  • 拓墣產業研究院之「產業資料庫」為付費的會員服務,若您尚未具備會員身份,歡迎您申請加入或是與我們的客服聯絡瞭解。
  • 若您所屬公司機關已具有拓墣會員身份,並且設定予貴公司人員線上申請,請先行移至「申請會員帳號」填寫申請資料後送出,我們會儘快為您審核辦理。若未開放線上申請,請您詢問貴公司的承辦連絡人處理,謝謝。
  • 由於貴公司無採購此產業項目,因此您將無法瀏覽此篇文章,欲查詢貴公司所購買的產業項目明細,請至「會員權益」查詢,謝謝。
  • 客戶服務專線: 02 8978-6498 ext.822
    客戶服務信箱:

宣傳推廣

新聞稿

AI晶片封裝突破光罩極限,CoWoS-L穩居先進封裝主流至2028年

根據TrendForce最新半導體先進封裝產業研究,隨著GPU業者、超大型雲端服務供應商( [...]

預估2026年全球資料中心用電需求年增31%,電網供應缺口自2028年擴大

根據TrendForce最新AI server產業研究,為滿足遽增的AI應用需求,雲端服務 [...]

2Q26全球前十大IC設計廠營收年增73%,AMD擠進前三名

根據TrendForce最新IC設計產業研究,隨著AI相關應用擴張,GPU、CPU、ASI [...]

預估2026年iPhone Duo市占近25%,Apple首款折疊機催化供應鏈升級

Apple正式推出首款折疊手機iPhone Duo,採書本式內折設計,搭載7.6吋內螢幕、 [...]

2Q26晶圓代工營收逼近534.9億美元,SMIC與Samsung市占差距縮小

根據TrendForce最新晶圓代工產業研究,2026年第二季全球前十大晶圓代工廠合計產值 [...]