AI大模型正加速從云端向邊緣與端側滲透，然而，算力、內存、功耗等卻成了制約其規模化落地的“高墻”。專為AI計算而生的神經網絡處理器（NPU），成為破墻關鍵。安謀科技Arm China“周易”X3 NPU IP，通過架構創新、軟硬件協同優化與開放生態等，為應對端側AI“算力墻”、“內存墻”、“功耗墻”困境給出技術錦囊。



錦囊一：應對“算力墻”，從“定點”到“浮點”，架構升級與算力靈活配置

端側AI從CNN向Transformer遷移，對高精度浮點運算的需求激增。傳統NPU受限于架構適配性差、算力調度效率低等，難以滿足復雜AI場景的動態需求。為應對大模型對端側算力的嚴苛需求，“周易”X3提供了高效的解決方案。

“周易”X3的破局之道在于底層架構革新，它采用專為大模型而生的DSP+DSA全新架構，實現從定點轉向浮點計算，兼顧CNN與Transformer，解決了傳統NPU“偏科”問題。單Cluster可提供8-80 FP8 TFLOPS的靈活算力配置，能精準匹配不同場景的多樣化算力需求。相較上一代產品，“周易”X3實現性能升級——AIGC大模型能力提升10倍、CNN模型性能提升30%-50%，充分釋放大模型算力潛能。

錦囊二：應對“內存墻”——高帶寬與智能存儲，提升內存利用效率

大模型參數規模龐大，內存帶寬與存儲壓力是另一大瓶頸。若無法高效處理數據讀寫與存儲，將導致AI任務卡頓與響應延遲。“周易”X3通過多重技術升級應對內存挑戰：

超高速數據通道：單Core帶寬高達256GB/s，能快速完成海量數據的讀寫，減少數據在內存中的滯留時間。計算核心帶寬相較上一代提升4倍，可保障數據高效傳輸；

智能存儲架構：升級的L2 Memory存儲系統有效減少DDR訪存，提升數據吞吐效率；

硬件解壓引擎：集成自研解壓硬件WDC，使大模型Weight軟件無損壓縮后通過硬件解壓能額外獲得約15%的等效帶寬；

低精度加速模式：支持端側大模型運行必備的W4A8/W4A16計算加速模式，兼顧存儲容量、帶寬與精度需求，在保證模型效果的前提下顯著提升計算效率。

實測數據顯示，多核算力線性度達70-80%、大模型Prefill階段利用率可達72%、Decode階段有效帶寬利用率突破100%[1]，充分驗證其內存調度能力與系統協同優化的卓越表現。

錦囊三：應對“功耗墻”：極簡調度與按需供給，實現能效優化

終端設備在有限電池容量和散熱條件下，亟需通過算力與能效的協同優化，實現高性能AI任務與長續航的平衡。

“周易”X3集成AI專屬硬件引擎AIFF，搭配專用硬化調度器，能將CPU負載降至0.5%以下，且調度延遲極低。NPU在并行處理多項AI任務時，無需依賴CPU頻繁介入調度，顯著降低CPU與NPU間的通信開銷，從而降低系統功耗、有效延長設備續航時間。

此外，“周易”X3采用可擴展的多核架構及層次化的內存互連架構，支持算力靈活裁剪和擴展，系統可根據AI任務復雜度實現“按需供能”，有效降低無效計算與數據搬移，實現能源利用效率最大化。

Compass AI軟件平臺 助力全鏈路高效開發與部署

應對端側AI“三堵墻”挑戰，離不開軟硬件的深度協同。“周易”X3配套的Compass AI軟件平臺憑借完善易用、開放生態、安全保障等多維優勢，成為面對端側AI“三堵墻”困境的超強“金牌輔助”。

“周易” NPU Compass AI軟件平臺

Compass AI軟件平臺提供端到端統一工具鏈，可實現“一鍵部署，開箱即用”。原生支持Hugging Face、主流AI框架與OS，支持160+算子與270+模型，并對LLM/VLM/VLA及MoE等大模型推理進行深度優化，實現從CNN到Transformer模型的無縫接入，大幅降低模型部署門檻與成本。同時，平臺對量化算法的支持與具備的動態Shape能力，可在提升性能的同時有效降低功耗，避免無效計算。

此外，Compass AI軟件平臺提供多種軟件工具，并開放IR規格、開源量化工具等核心組件。開發者基于DSL編程語言，通過豐富的NN編譯器插件實現自定義算子，配合可視化調試工具，能夠實現全鏈路可觀測、可優化，極大提升不同場景下的開發效率，為端側AI的算力調度、功耗控制提供底層軟件支撐。

以自研IP產品矩陣 助推端側AI規模化落地

在安謀科技“AI Arm CHINA”戰略指引下，公司將以AI為核心、Arm?生態為支撐、本土創新為根基，持續推進“周易”NPU、“星辰”CPU、“山海”SPU和“玲瓏”多媒體處理器四大自研IP產品的研發，與產業伙伴協同共建中國智能計算生態，助推端側AI的規模化落地。