如何做嵌入式人工智能

來源：PerfXLab澎峰科技

澎峰科技是中科院的技術團隊，做過國際知名的開源矩陣計算庫OpenBLAS，獲得過中國計算機學會科技進步二等獎、中國科學院杰出科技成就獎，是國家高新技術企業(yè)、中關村高科技企業(yè)、中關村金種子企業(yè)。

什么叫嵌入式人工智能，或者說端上智能呢？其實并不是在嵌入或在設備端來訓練深度學習模型，在部署階段，我們的模型在服務器內(nèi)訓練，但是在實際使用的過程中，是在云端做部署，還是在端上設備做部署，兩者會有很大的差異。大家見的比較多的是在云端做部署，比如很多API通過網(wǎng)絡的方式上傳圖片，在云上計算并返回結果。使用嵌入式端部署的話，模型可能傳輸?shù)搅?a target="_blank">手機上，在此基礎上可以做圖像識別和處理功能，另外也可以傳輸?shù)?a href="http://www.3532n.com/v/tag/12732/" target="_blank">無人機上或智能攝像頭上。

以抖音為例，里面有個美顏直播功能，當人臉動的時候，美顏的畫像其實一直跟著人臉動，同時也有很多特效，這個就是嵌入式非常典型的應用。那么為什么不是拍好一段視頻上傳到云端，再做美顏呢？因為如果上傳到云端再處理，交互性會非常差，無法讓用戶實時看到效果，成本也比較高。因此，所有的效果全部在手機端完成，交互性會更好。這里主要用到了三個算法：一是人臉檢測，先找到人的臉；二是識別人臉關鍵點，找到人的鼻子在哪兒，眼睛在哪兒；三是做一些貼圖，比如眼鏡或小貓的貼圖，不管人臉怎么動，甚至是旋轉(zhuǎn)，貼圖都可以時刻貼合人臉。

但是真正做嵌入式系統(tǒng)的時候會遇到一些挑戰(zhàn)，最主要的挑戰(zhàn)是運行速度。有些模型太大，是很難傳輸?shù)绞謾C上的，通常好幾秒才能處理一張圖像，或者功耗太高了，可能手機錄一會兒就沒電了，這些都是我們遇到過的挑戰(zhàn)。要應對這種挑戰(zhàn)，一般來說要從硬件、軟件、算法三個方面共同努力，才能把嵌入式AI部署好。

介紹一下高性價比ARM SoC AI方案。以人臉識別為例，高性價比人臉識別設備支持本地2萬張人臉庫，聯(lián)網(wǎng)抓拍模式可支持5萬人臉庫，識別時間在0.2秒以內(nèi)。大家知道Caffe、Tensorflow框架，很多大公司做了很多服務器的訓練框架，用來訓練模型，但是訓練完去部署的時候，如果還是照搬安裝在手機上，其實非常耗資源，也非常笨拙。

現(xiàn)在有專門針對嵌入式平臺的前向推理框架，前向推理框架的主要功能有五個方面。一是設備管理，一般來說嵌入式系統(tǒng)都是異構系統(tǒng)，不只是CPU，可能還有GPU、IPG或DSP，手機芯片里面有DSP，也可以用DSP做深度學習計算。二是除了異構性管理以外，還涉及模型管理。三是內(nèi)存管理和存儲格式，需要考慮以內(nèi)存占用優(yōu)先還是以性能優(yōu)先。手機的內(nèi)存通常很充足，但是一些更小的嵌入式設備、IoT級別的設備，內(nèi)存非常受限，那就需要重點考慮。四是層級融合，從性能優(yōu)化的角度來提升速度。五是實現(xiàn)方法選擇。比如卷積，卷積是AI操作中非常重要的一部分操作，怎么做卷積最快有很多門道，卷積的實現(xiàn)方法有三到四種，要求底層的優(yōu)化與上層的框架實現(xiàn)互相配合，而且要針對所調(diào)用的模型，根據(jù)效果做試配。可以通過性能評測看到結果，很多平臺上都可以做性能評測。

下面看一下高性能FPGA AI方案。如果模型比較大，但又要求速度比較快，那么該如何去部署？典型的做法是用FPGA的AI來實現(xiàn)。我們支持兩種常見的SoC架構和FPGA的開發(fā)生態(tài)。硬件部分結合軟件工具，可以將訓練好的模型經(jīng)過量化、壓縮等操作，部署在AI加速處理架構上，實現(xiàn)較高效的執(zhí)行。AI加速處理架構主要分為PS端與PL端的兩部分設計，實質(zhì)上是用狀態(tài)機控制模型，使用PE實現(xiàn)具體的卷積操作，從而獲得比較好的性能。

使用該方案能得到比較快的速度，平臺上的速度可達300MHz，7100芯片上的速度可達160M Hz，基本上都達到了每秒處理60幀的速度，同時DSP單元的使用率達到了95%。這項技術可以應用在無人機上，而且未來還可以形成定制芯片。

我們不僅要將硬件和軟件結合起來做底層優(yōu)化，在算法模型這一層也有很多工作要做。首先，針對嵌入式AI的深度學習模型，要專門做優(yōu)化。其次，我們要做模型壓縮功能，最常用的方法是蒸餾法。蒸餾法是指我們先在服務器上訓練一個比較復雜的模型，再在此基礎上訓練一個小的模型，相當于一個老師教一個學生，這樣學習來的小模型可以具備和大模型接近的性能效果，精度也更高，并且大大節(jié)省了計算資源。然后，我們要做量化。最后，我們持續(xù)研發(fā)新型的網(wǎng)絡結構，從而進一步降低計算量。（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）

關注微信公眾號：人工智能技術與咨詢。了解更多咨詢！

審核編輯：符乾江