阿里MNN支持華為NPU，優化MNN的性能和精度問題
今天上午據軟件綠色聯盟消息，阿里MNN已經接入華為 HiAI生態，正式支持華為NPU。
據了解，阿里MNN為Mobile Neural Network，是阿里巴巴淘系技術部開源的端側推理引擎，目前已覆蓋淘寶、天貓、優酷和UC等20多個手機應用，每天穩定運行超過500億次，已經接受了兩屆“雙11”的考驗。
官方表示，當App功能日益強大時，性能和精度的矛盾就逾顯尖銳；官方表示利用HiAI Foundation芯片能力開放，阿里MNN快速轉化和遷移已有模型，并借助異構調度和NPU加速，大幅提升應用算力和能效比，可以優化MNN的性能和精度問題。比如會加快以圖搜圖的搜索速度，耗電方面也會降低；此外，掃商家Logo也是運用了此功能。
責任編輯：gt
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
華為
+關注
關注
218文章
36003瀏覽量
262083 -
阿里
+關注
關注
6文章
465瀏覽量
34193
發布評論請先 登錄
相關推薦
熱點推薦
IMX95 - NPU 不工作的原因？怎么解決？
: Created TensorFlow Lite XNNPACK delegate for CPU.
我的問題是：哪個 SDK 版本真正正確支持 NPU？會升級到最新版本內核 6.12.34可能有幫助嗎？我寧愿不回滾到內核 6.6如果可能的話。謝謝。
發表于 02-26 11:21
【新品發布】艾為重磅發布端側AI高性能NPU語音芯片，打造智能語音體驗新標桿
數模龍頭艾為電子全新推出高性能NPU神經網絡智能語音處理芯片：AWA89601，集成音頻專用NPU（神經網絡處理器），通過聲音模型訓練與NPU硬件結合，該芯片在AI降噪、AI人聲增強、
瑞芯微SOC智能視覺AI處理器
。B2版本通常在功耗、穩定性和部分外圍接口支持上有所優化。NPU: 集成0.8 TOPS的NPU，支持INT8/INT16混合運算，能滿足大
發表于 12-19 13:44
如何利用NPU與模型壓縮技術優化邊緣AI
隨著人工智能模型從設計階段走向實際部署，工程師面臨著雙重挑戰：在計算能力和內存受限的嵌入式設備上實現實時性能。神經處理單元(NPU)作為強大的硬件解決方案，擅長處理 AI 模型密集的計算需求。然而
實戰RK3568性能調優：如何利用迅為資料壓榨NPU潛能-在Android系統中使用NPU
《實戰RK3568性能調優：如何利用迅為資料壓榨NPU潛能-在Android系統中使用NPU》
開源鴻蒙MNN AI應用開發與MNN移植經驗
本期內容由AI Model SIG提供，介紹了在開源鴻蒙中，利用MNN開源框架開發AI應用以及基于MNN源碼編譯與Har包封裝的方法。
基于米爾瑞芯微RK3576開發板的Qwen2-VL-3B模型NPU多模態部署評測
RKLLM-Toolkit），支持 Hugging Face 格式模型的量化（如 w4a16、w8a8）和優化，適配 RK3588、RK3576 等高性能 NPU 芯片，通過降低模型
發表于 08-29 18:08
無法在NPU上推理OpenVINO?優化的 TinyLlama 模型怎么解決？
在 NPU 上推斷 OpenVINO?優化的 TinyLlama 模型。
遇到的錯誤：
get_shape was called on a descriptor::Tensor with dynamic shape
發表于 07-11 06:58
鴻蒙5開發寶藏案例分享---性能優化案例解析
鴻蒙性能優化寶藏指南：實戰工具與代碼案例解析
大家好呀！今天在翻鴻蒙開發者文檔時，意外挖到一個 性能優化寶藏庫 ——原來官方早就提供了超多實用工具和案例，但很多小伙伴可能沒發現！這篇就
發表于 06-12 16:36
芯原超低能耗NPU可為移動端大語言模型推理提供超40 TOPS算力
AI需求而設計，不僅能夠為AI PC等終端設備提供強勁算力支持，而且能夠應對智慧手機等移動終端對低能耗更為嚴苛的挑戰。 芯原的超低能耗NPU IP具備高度可配置、可擴展的架構，支持混合精度
瑞芯微NPU使用攻略
核心要點：定義與功能硬件加速單元：RKNPU是集成在瑞芯微芯片中的專用NPU，專注于加速深度學習算法，如圖像識別、目標檢測、語音處理等，同時優化功耗與性能平衡。支
HarmonyOS優化應用內存占用問題性能優化一
應用開發過程中注重內存管理，積極采取措施來減少內存占用，以優化應用程序的性能和用戶體驗。
HarmonyOS提供了一些內存管理的工具和接口，幫助開發者有效地管理內存資源：
onMemoryLevel接口
發表于 05-21 11:27
Arm CPU適配通義千問Qwen3系列模型
與阿里巴巴開源的輕量級深度學習框架 MNN 已深度集成。得益于此，Qwen3-0.6B、Qwen3-1.7B 及 Qwen3-4B 三款模型能夠在搭載 Arm 架構 CPU 的移動設備上無縫運行，為用戶提供卓越的端側 AI 推理能力。
超越CPU/GPU：NPU如何讓AI“輕裝上陣”？
和計算速度上更具優勢，尤其適合移動設備、邊緣計算和嵌入式AI場景。 ? NPU有幾大核心特點：其一是專用架構，針對神經網絡計算優化，支持并行處理大量矩陣運算（如INT8/FP16低精度
Arm與阿里巴巴合作加速端側多模態AI體驗
Arm 控股有限公司（納斯達克股票代碼：ARM，以下簡稱“Arm”）近日發布與阿里巴巴淘天集團輕量級深度學習框架 MNN 的又一新合作。
工商網監
評論