(電子發(fā)燒友網(wǎng)報道 文/章鷹) 2025年是端側(cè)AI爆發(fā)元年，以AI眼鏡為例，Meta的Ray-Ban系列價格已降至299美元，2025年預(yù)計出貨200萬副，此外，混合AI在端側(cè)實現(xiàn)手機拍照功能優(yōu)化，汽車自動駕駛的本地決策，都依賴算力提升，這對端側(cè)AI SoC的性能帶來挑戰(zhàn)，上游IP廠商的新品可以給SoC廠商帶來最新助力。

7月9日，在上海張江舉辦的端側(cè)AI技術(shù)論壇上，安謀科技（中國）有限公司高級產(chǎn)品經(jīng)理葉斌表示，當前端側(cè)AI正從概念走向現(xiàn)實，安謀科技自研“周易”NPU可驅(qū)動終端算力躍遷，助力產(chǎn)業(yè)把握端側(cè)AI“芯”機遇。

端側(cè)大模型參數(shù)提升，安謀科技DSA架構(gòu)驅(qū)動芯片能效比

“當前，端側(cè)設(shè)備部署的AI大模型10B為上限，Meta開源了LIama3大模型，包括8B、30B、70B模型。未來，數(shù)據(jù)將在云端匯集訓練，云端AI模型將具備更強的通用性。終端設(shè)備上則進行輕量化模型運用，體現(xiàn)出更低延遲、更具個性化和隱私安全等優(yōu)勢。端側(cè)設(shè)備，從旗艦平板、手機、智慧屏到PC，硬件平臺的演進中，對AI SoC來講，多核、算力提升成為當前主流發(fā)展趨勢。”安謀科技葉斌分析說。

在他看來，隨著技術(shù)發(fā)展，計算重心將進一步向更高效、更專業(yè)的計算架構(gòu)或芯片轉(zhuǎn)移，以平衡性能與成本，更好地支撐大模型及各類AI應(yīng)用的發(fā)展。這種情況下，DSA架構(gòu)仍然是端側(cè)追求能效比和面效比的選擇。端側(cè)利用NPU IP等多核協(xié)同，實現(xiàn)算力提升，將成為技術(shù)發(fā)展的關(guān)鍵。

安謀新一代周易NPU IP支持高精度浮點運算，應(yīng)對未來應(yīng)用場景

葉斌指出，安謀科技新一代自研周易“NPU” IP，從架構(gòu)設(shè)計角度對于transformer繼續(xù)優(yōu)化，兼容CNN超分場景和大模型場景加速，并且持續(xù)大規(guī)模軟件投入，不斷完善算字庫，支持大語言模型輕量化部署與快速響應(yīng)，快速滿足AI PC、手機、智能座艙，ADAS等新興端側(cè)AI應(yīng)用需求。

AI大模型要提升理解能力，必然要增加上下文窗口、序列長度來達到一個效果。AI處理器的架構(gòu)設(shè)計上，充分考慮算力配比平衡的需求。

端側(cè)AI能力受制于算力墻、內(nèi)存墻和功耗墻。從應(yīng)用和場景算力匹配的能力看，從存儲的演進路線來說，LPDDR5X可以支持端側(cè)10B以下的模型，主要應(yīng)用在手機、PAD和PC端，汽車智能座艙都是在10B上下的模型，物聯(lián)網(wǎng)設(shè)備的模型體量更小，未來存儲演進到LPDDR6，預(yù)期模型的容量可以提升50%以上。

葉斌表示，大模型是算法、硬件平臺雙向奔赴的一個過程，隨著更低位寬的算法應(yīng)用，效果提升，最終令這些模型可以部署到端側(cè)。未來2年到3年，更大的模型在端側(cè)部署的場景。我們預(yù)測，20B、30B的AI模型部署在端側(cè)，甚至到30B、40B的模型在端側(cè)部署。

在當前趨勢下，端側(cè)AI應(yīng)用對算力的需求將持續(xù)增加，從CNN時代的INT低精度變?yōu)樾枰呔鹊腇LOAT浮點運算。安謀科技新一代周易NPU做了性能的升級和優(yōu)化，支持多數(shù)據(jù)類型，從INT4、 INT8、INT16以及FLOAT 浮點運算。考慮到能效比，硬件上面做到充分的復用。未來在端側(cè)減少內(nèi)存數(shù)據(jù)的搬運，中間做一個專用的加速優(yōu)化。長下文場景，安謀科技在AI加速部分進行了增強。此外，我們對于多任務(wù)執(zhí)行QOS技術(shù)進行增強，確保端側(cè)AI多樣應(yīng)用的使用體驗。

葉斌強調(diào)說：“我們看到AI大模型對帶寬提出更高要求及AI計算中心偏移。結(jié)合端側(cè)大模型訴求，端側(cè)從NPU，追求能效比和面效比的選擇。加上多級緩存，硬件流水的結(jié)構(gòu)，使得數(shù)據(jù)本地化，節(jié)省數(shù)據(jù)搬運和功耗的開銷。”

在端側(cè)AI設(shè)備加速落地，AI SoC芯片設(shè)計熱潮的推動下，半導體IP的戰(zhàn)略價值不斷顯現(xiàn)。IP授權(quán)模式，安謀科技采取靈活的架構(gòu)授權(quán)模式，無論是硬件、軟件，NPU除了DSK架構(gòu)外，軟件生態(tài)也非常關(guān)鍵。安謀科技繼承了ARM的基因，NPU IP有一套完整的軟件工具鏈，GPU最新量化工具，還有動態(tài)識別的支持和開源的模型庫，安謀科技加大投入不斷完善算子庫，憑借軟硬件的創(chuàng)新系統(tǒng)，新一代周易NPU IP能更好滿足新興端側(cè)AI應(yīng)用需求，滿足用戶兼具功耗和性能優(yōu)勢的端側(cè)算力體驗。