試想這樣的場景：當你正在發消息時，手機能在你輸入過程中實時翻譯文字，還能即時總結整段對話內容；或是在拍照時，手機能在你按下快門之前，迅速解析復雜場景畫面，并自動對關鍵主體進行聚焦。換言之，以往需要停頓處理的手機應用，如今已能實時預判并滿足你的需求。

這種轉變正是對當前世界的直接回應：每一次點擊、每一次滑動、每一秒的關注都至關重要。現在的用戶希望應用能夠快速思考、即時響應，并妥善保護用戶的隱私信息。這些需求最終落到了開發者肩上，開發者因而承受著越來越大的壓力：不僅要讓應用運行起來，更需要在設備端完整實現先進的實時體驗，而無需依賴云端，同時還不能犧牲電池續航或減緩響應。

令人欣慰的是，第二代 Arm 可伸縮矩陣擴展 (SME2)為全球數百萬移動端開發者帶來了端側人工智能 (AI) 加速的功能，有助于實現更迅捷、更智能的端側體驗。

隨時隨地高效加速

得益于 Arm KleidiAI 與主流框架（包括 Google LiteRT、PyTorchExecuTorch、ONNX Runtime和阿里巴巴 MNN）的深度集成，SME2 可實現自動啟用，將 AI 計算遷移至 Arm CPU 上 。當今約 99% 的智能手機均運行于 Arm CPU 計算平臺之上。此舉不僅為開發者在處理其工作負載時提供了更大的靈活性，還能釋放 GPU 的帶寬資源。

由于 Arm CPU 能在安全且一致的架構上處理混合計算管線，開發者無需為不同設備層級重新構建方案。只需優化一次，即可在整個生態系統中復用。SME2 通過為 Armv9 架構添加專用矩陣處理指令，使 CPU 能夠處理支撐著當今大語言模型和視覺模型的密集數學運算，同時顯著降低功耗與延遲。

由此打造出可在數十億臺移動設備上運行的更具吸引力、更智能、更直觀的應用，并帶來切實可量化的提升表現，其中包括：

AI 響應速度提升高達 5 倍；

語音工作負載延遲降低 4.7 倍；

音頻生成速度提升 2.8 倍；

在常見的移動端 AI 應用場景中顯著節省電量。

得益于此，支付寶可支持在設備上即時生成旅行視頻，谷歌也能在其各類應用中提供實時摘要與翻譯服務。

對用戶而言，應用體驗變得更加迅捷、本地化且安全可信。對開發者而言，鑒于實時推理不再導致電量快速耗盡或手機過熱，他們能夠在相同的散熱與功耗限制下挖掘更多可能性。開發者還可無拘束地進行創新實驗，靈活適配多代硬件，并在 CPU 上實現以前只有服務器端才能實現的 AI 性能。

一次構建，隨處運行

每個開發者都深知碎片化帶來的挑戰，包括各異的芯片組、不同的性能特性，以及無休止的調優工作。SME2 通過 CPU 實現 AI 加速的標準化，為開發者提供了統一、可移植的移動端 AI 基礎。

基于 SME2 構建的應用在 iOS 和安卓系統上都能實現一致的性能表現，從 vivo X300 系列和 OPPO Find X9 系列等旗艦手機，到搭載 Arm CPU 的中端和入門款智能手機，都能流暢運行。無論是要為創意類應用優化視覺模型，還是面向全球市場部署語音助手，代碼的運行效果都可精準預判。這不僅簡化了測試流程，減少了性能倒退問題，還能加快產品上市進程。

隨著 Arm 架構的持續演進，KleidiAI 會自動實現性能提升，無需開發者重構代碼 —— 這正是打造一個能與開發者共同成長的平臺的價值所在。開發者只需更新其框架、啟用 SME2，就能直觀感受到應用運行速度的大幅提升。

端側智能的下一個前沿領域

歸根結底，端側 AI 的核心并非為設備堆砌更多智能功能，而是讓智能更貼近用戶的日常應用場景。與此同時，用戶不愿等待技術追趕需求，開發者也無需等待。借助 SME2 和 KleidiAI，開發者將能夠彌合這一差距，將 CPU 變成現成可用的 AI 引擎，實時響應用戶的每一次點擊與交互。

因此，作為開發者的你，如果要打造新一代卓越的移動端體驗，不妨聚焦于最重要的層面，從核心入手。更新你的框架，啟用 SME2，然后見證當智能響應跟上用戶操作速度時，你的應用力所能及的表現也將達到新高度。

* 本文為 Arm 原創文章，轉載請留言聯系獲得授權并注明出處。