NPU、APU、AIE，手機 AI 究竟是什么？它能給手機體驗帶來哪些變革？

4 月 19 日下午，榮耀在上海召開了一場頗為重磅的新品發布會，核心產品有兩款：榮耀 10 智能手機和榮耀 MagicBook 筆記本電腦。

其中，MagicBook 是榮耀推出的第一款筆記本電腦，它兼具了全金屬輕薄機身、八代酷睿 + MX150、57Wh 大電池等主流輕薄本特性，起售價 4999 元。

榮耀 10 則是榮耀手機在 2000—3000 元這個所有手機品牌的必爭價格區間的最新產品，它采用了流行的變色極光玻璃、隱形超聲波指紋以及流行的“劉海屏”。不過要說榮耀 10 最大的賣點，還是非 AI 莫屬。

榮耀 10 搭載了麒麟 970 芯片，內置為 AI 運算專門打造的 NPU 模塊。此外，榮耀還提出了“AI 手機 2.0”的概念，并在發布會上花了大量的篇幅講述 AI 對手機拍照的加成。

在手機上提出 AI 并不是什么新鮮事，早在 2016 年底，榮耀就在 Magic 這款“致未來”的產品上提出了 AI 手機的概念。不過到了 2018 年，AI 在手機發布會上的“戲份”突然變得格外多，近期幾乎每一款手機新品的發布會，AI 都常常要占據半小時甚至更久的時間。

不過與此同時，雖然所有廠商都在大談 AI，不過對于用戶來說，AI 依然是一個有點“虛”的概念。這一方面是因為 AI 不像全面屏、快充那樣有一個對應的具象特性，另一方面也是因為一些手機廠商在產品沒有落地的情況下習慣于“概念先行”，把一些有的沒的東西都冠上“AI”的名字。

AI 手機究竟指的是什么？它到底能給智能手機帶來哪些變革？就著榮耀 10 這款產品，在對它進行常規的產品體驗前，我們先和大家聊聊 AI 手機這件事。

手機為什么需要 AI？

提到 AI，可能很多人會想到的是 AlphaGo 或者自動駕駛等比較“大”的應用。不過對于手機來說，受到體積和性能的限制，顯然是無法像 Google 的 TPU、NVIDIA 的 Xavier 那樣使用巨大的數據來訓練神經網絡模型的。

目前手機中常見的 AI 應用，其實是將已經訓練好的神經網絡模型編譯成離線模型，然后跑在手機本地的硬件上。之所以要把 AI 運算移植到手機上而不是留在“云端”，主要原因有兩個。

第一是速度。雖然通訊技術的發展已經大大提高了網絡帶寬，降低了時延，但在一些需要實時性的操作中，依然需要在設備本地進行計算來保證速度。

為高通 AI Engine 提供人臉解鎖算法支持的商湯科技

以目前應用廣泛的人臉解鎖為例，手機在檢測到人臉時，如果還是像 Siri 等智能語音助手那樣，先將數據傳輸到云端，然后在云端進行特征點的比對，再向手機返回結果，就會導致處理時長明顯增加，嚴重影響使用體驗。

再比如已經成為 AI 手機“標配”的拍照場景識別功能，手機需要在用戶取景的同時對畫面里的物體進行識別，在檢測到對應的場景后自動對拍照參數進行調整，如果說這個處理過程搬到云端，即使網絡狀況再好，也會造成明顯的延遲，直接導致這個功能變得不可用。

除了速度，由于手機本身是一個生產力型的工具，為了保證隱私數據的安全，部分數據也只能在手機端進行處理。

真假 AI 指的是什么？

經過了過去一兩年的探索，將部分 AI 運算移植到手機、讓手機設備本身具備處理 AI 運算能力（端側 AI）已經成為行業共識，不過在如何讓手機 AI 運算更快更高效這個問題上，幾家芯片廠商的做法有著明顯的不同，具體可以分為三種。

第一種方式是為增加專用的 AI 芯片來進行 AI 運算。代表產品是麒麟 970（內置 NPU）和蘋果 A11 Bionic（神經網絡專用加速模塊），其中 A11 Bionic 的神經網絡專用加速模塊比較特別，目前只是用在了 Face ID 人臉解鎖上，沒有開放給第三方。

高通 AI Engine

第二種方式是調用 SoC 中原有的模塊來進行 AI 運算。代表產品是高通的 AI Engine 平臺（支持的驍龍 660、820、835、845），具體是通過驍龍神經處理引擎（Neural Processing Engine， NPE）軟件框架，根據需求從 CPU（非并發小數據處理）、GPU（并發大數據處理）、DSP（向量運算）中使用最適合的內核進行數據處理。

第三種方案是聯發科在 Helio P60 里采用的 APU 設計。這個核心有些像 NPU，不過 APU 的設計更像是改進版的多核 DSP，擅長圖像處理，具備一定的 AI 運算能力但并沒有 NPU 那樣“專一”和高效，這個思路有點像找一個數學不錯的物理老師來給學生教數學。

芯片廠商不同的做法，延伸到宣傳和營銷中，就有了所謂的“真假 AI”的概念，有人認為芯片必須有獨立的 AI 芯片才能算是“真 AI”，有人則認為決定手機是不是“真 AI”的應該是具體的功能，而不是芯片的設計。

那么獨立的 AI 芯片究竟有多少意義？這里我們就以麒麟 970 的 NPU 為例聊聊。

NPU 模塊的意義

大家可能還記得，AI 手機這個概念是榮耀 Magic 上第一次提出的。

Magic 是榮耀在 2016 年底發布的一款產品，也是榮耀和華為 2012 實驗室 4 年磨一劍的作品。在這款手機上，榮耀展示了具備自然語義理解、計算機視覺、深度學習能力的 Magic Live 智慧引擎，即使放在 2018 年，榮耀 Magic 上的很多理念依然很有前瞻性。

同時，也正是在研發 Magic 的過程中，華為和榮耀的工程師發現，為了讓 AI 在手機中發揮更大的作用，需要更加算力更強并且更加省電的芯片進行支撐，最終決定在麒麟 970 上增加一顆行業里還沒有先例的 NPU 模塊，即使這意味著芯片制造的成本會有明顯的增加（成本也是高通沒有使用 NPU 的主要原因）。

麒麟 970 的 NPU 實際效果相比起高通 AIE、聯發科 P60 的“非專用”方案會有一定的優勢。這種優勢不僅僅是體現在單純的算力層面，還體現在執行效率上。

在去年 9 月麒麟 970 的發布會上，華為消費者 BG CEO 余承東展示了上面這組圖，在 AI 運算性能上，NPU 相比起 CPU 和 GPU 分別有著 25 倍和 6.25 倍的優勢，而更重要的是 PPT 右邊這組數據，能效比上，NPU 更是達到了 CPU 的 50 倍，GPU 的 6.25 倍。

我們知道，受限于手機的體積，功耗和發熱會大大制約手機芯片的性能表現，而 NPU 在運算效率上的巨大優勢意味著在功耗和發熱允許的范圍內，可以在手機上跑更加復雜、對算力要求更高的算法，提供更多有價值的功能。

NPU 高效的優勢在發布之初、應用場景還相對簡單的時候表現并不明顯，不過隨著華為和榮耀對 NPU 應用的深入，NPU 正在逐步地兌現它的潛力。

還是以拍照時的智能場景識別為例，目前無論是采用高通的 AIE 平臺的機型，還是搭載麒麟 970 的手機，都已經可以做到數十個拍照場景的識別，不過在華為 P20 系列、榮耀 10 這兩款新上市的麒麟 970 機型上，又把場景識別的復雜程度進行了大幅度的提升。

在榮耀 10 發布會上，榮耀 CEO 趙明展示了下面這個使用 AI 來優化拍照的實例。

這張照片中，在麒麟 970 NPU 的幫助下，榮耀 10 可以實時地識別出人物、動物、植物、藍天 4 個層級，然后對每一個部分進行單獨的優化，這可要比單獨的識別出某一個場景然后進行整體微調來的復雜多了。

再比如在這張主體為人像的拍攝中，榮耀 10 可以在識別出人像然后將人景分離之后，還可以使用 AI 算法對邊緣頭發部分進行單獨的優化，同時對人物的五官進行分區然后結合識別出的性別、年齡信息進行精確美顏，如果人物的位置不太合適，榮耀 10 甚至還可以智能地對構圖進行微調。

這些都是 AI 賦予手機相機的能力，隨著算法的進步和手機本地 AI 算力的提升，手機可以“識別”出得東西會越來越多，對拍照的優化會越來越明顯。對于用戶來說，這意味著拍出好照片的成本會越來越低。

AI 手機還能干什么？

半年多以前，當第一款搭載麒麟 970 的機型華為 Mate 10、Mate 10 Pro 上市的時候，華為已經展示了不少 NPU 參與實現的功能，比如拍照時的場景識別、通話時的 AI 降噪、使用 NPU 加速的微軟翻譯。不過要想真正讓 AI 變革手機體驗，手機廠商自己的力量是不夠的，還要開放給更多的第三方開發者，共同打造 AI 生態。在這方面，高通和華為都已經完成了很多的布局。

今年 2 月份，高通正式發布了 AI Engine。AI Engien 包含了 3 個硬件和 3 個核心軟件，硬件部分為 CPU、GPU、DSP 三個部分，軟件部分則分別是驍龍神經處理引擎（NPE）軟件框架（幫助開發者從 DSP、GPU、CPU 中選擇合適的內核）、隨 Android 8.0 發布的 Android NN API（一個用于在移動設備上進行深度學習的 C 語言 API）和 Hexagon Neutral Network 庫（讓開發者的 AI 算法在 DSP 上運行）。

在此基礎上，高通和多家算法提供商聯合推出了多個利用 AI Engine 的應用優化，比如商湯科技和曠視 Face++提供的多種預先訓練的用于背景虛化、面部解鎖、場景識別的神經網絡，虹軟提供的單攝和雙攝算法，創通聯達針對人工智能視覺用例和終端提供完整的解決方案，而騰訊、百度等云服務廠商也在利用 AI Engine 進行應用優化。

相比高通，華為海思的進度整體還要更快一些。

如果你使用的是華為和榮耀的搭載麒麟 970 的手機，在應用商店里應該已經能夠找到一個為人工智能優化過的應用專區，其中的 app 目前大都是知名度很高的主流 app，有淘寶、抖音、百度、有道翻譯官、Prisma、WPS。

通過使用接入華為的 HiKey970 開發平臺，開發者可以通過調用 NPU，對神經網絡計算進行硬件級的加速，實際的效果還是很明顯的，比如淘寶的掃碼購物，使用 NPU 優化后識別速度可以最高縮短到原來的 1/10，再比如抖音的 AR 畫面特效，使用 NPU 優化后畫面的精度和識別的速度都有明顯的提高。

雖然目前手機 AI 發展依然處在比較早期的階段，不過隨著 AI 芯片的發展和開發工具、分發平臺的完善，在未來可預見的一段時間里，芯片廠商、手機廠商和第三方開發者會持續在手機 AI 上進行投入，AI 對手機體驗的加成會越來越明顯。

在即將到來的 5G 時代，AI 很可能和 5G 一起，成為未來智能手機的一項“基本能力”，共同定義下一代的智能手機體驗。