如何做嵌入式人工智能

澎峰科技是中科院的技術團隊，做過國際知名的開源矩陣計算庫OpenBLAS，獲得過中國計算機學會科技進步二等獎、中國科學院杰出科技成就獎，是國家高新技術企業、中關村高科技企業、中關村金種子企業。

什么叫嵌入式人工智能，或者說端上智能呢？其實并不是在嵌入或在設備端來訓練深度學習模型，在部署階段，我們的模型在服務器內訓練，但是在實際使用的過程中，是在云端做部署，還是在端上設備做部署，兩者會有很大的差異。大家見的比較多的是在云端做部署，比如很多API通過網絡的方式上傳圖片，在云上計算并返回結果。使用嵌入式端部署的話，模型可能傳輸到了手機上，在此基礎上可以做圖像識別和處理功能，另外也可以傳輸到無人機上或智能攝像頭上。

以抖音為例，里面有個美顏直播功能，當人臉動的時候，美顏的畫像其實一直跟著人臉動，同時也有很多特效，這個就是嵌入式非常典型的應用。那么為什么不是拍好一段視頻上傳到云端，再做美顏呢？因為如果上傳到云端再處理，交互性會非常差，無法讓用戶實時看到效果，成本也比較高。因此，所有的效果全部在手機端完成，交互性會更好。這里主要用到了三個算法：一是人臉檢測，先找到人的臉；二是識別人臉關鍵點，找到人的鼻子在哪兒，眼睛在哪兒；三是做一些貼圖，比如眼鏡或小貓的貼圖，不管人臉怎么動，甚至是旋轉，貼圖都可以時刻貼合人臉。

但是真正做嵌入式系統的時候會遇到一些挑戰，最主要的挑戰是運行速度。有些模型太大，是很難傳輸到手機上的，通常好幾秒才能處理一張圖像，或者功耗太高了，可能手機錄一會兒就沒電了，這些都是我們遇到過的挑戰。要應對這種挑戰，一般來說要從硬件、軟件、算法三個方面共同努力，才能把嵌入式AI部署好。

介紹一下高性價比ARM SoC AI方案。以人臉識別為例，高性價比人臉識別設備支持本地2萬張人臉庫，聯網抓拍模式可支持5萬人臉庫，識別時間在0.2秒以內。大家知道Caffe、Tensorflow框架，很多大公司做了很多服務器的訓練框架，用來訓練模型，但是訓練完去部署的時候，如果還是照搬安裝在手機上，其實非常耗資源，也非常笨拙。

現在有專門針對嵌入式平臺的前向推理框架，前向推理框架的主要功能有五個方面。一是設備管理，一般來說嵌入式系統都是異構系統，不只是CPU，可能還有GPU、IPG或DSP，手機芯片里面有DSP，也可以用DSP做深度學習計算。二是除了異構性管理以外，還涉及模型管理。三是內存管理和存儲格式，需要考慮以內存占用優先還是以性能優先。手機的內存通常很充足，但是一些更小的嵌入式設備、IoT級別的設備，內存非常受限，那就需要重點考慮。四是層級融合，從性能優化的角度來提升速度。五是實現方法選擇。比如卷積，卷積是AI操作中非常重要的一部分操作，怎么做卷積最快有很多門道，卷積的實現方法有三到四種，要求底層的優化與上層的框架實現互相配合，而且要針對所調用的模型，根據效果做試配。可以通過性能評測看到結果，很多平臺上都可以做性能評測。

下面看一下高性能FPGA AI方案。如果模型比較大，但又要求速度比較快，那么該如何去部署？典型的做法是用FPGA的AI來實現。我們支持兩種常見的SoC架構和FPGA的開發生態。硬件部分結合軟件工具，可以將訓練好的模型經過量化、壓縮等操作，部署在AI加速處理架構上，實現較高效的執行。AI加速處理架構主要分為PS端與PL端的兩部分設計，實質上是用狀態機控制模型，使用PE實現具體的卷積操作，從而獲得比較好的性能。

使用該方案能得到比較快的速度，平臺上的速度可達300MHz，7100芯片上的速度可達160M Hz，基本上都達到了每秒處理60幀的速度，同時DSP單元的使用率達到了95%。這項技術可以應用在無人機上，而且未來還可以形成定制芯片。

我們不僅要將硬件和軟件結合起來做底層優化，在算法模型這一層也有很多工作要做。首先，針對嵌入式AI的深度學習模型，要專門做優化。其次，我們要做模型壓縮功能，最常用的方法是蒸餾法。蒸餾法是指我們先在服務器上訓練一個比較復雜的模型，再在此基礎上訓練一個小的模型，相當于一個老師教一個學生，這樣學習來的小模型可以具備和大模型接近的性能效果，精度也更高，并且大大節省了計算資源。然后，我們要做量化。最后，我們持續研發新型的網絡結構，從而進一步降低計算量。（根據演講內容整理，未經本人審核）

審核編輯：符乾江