工智能和機(jī)器學(xué)習(xí)應(yīng)用的加速是一個相對較新的領(lǐng)域，各種各樣的處理器不斷涌現(xiàn)，加速了幾乎所有神經(jīng)網(wǎng)絡(luò)的處理工作。無論是處理器巨頭還是行業(yè)新貴，都在盡力提供差異化產(chǎn)品——或是針對不同的垂直市場、應(yīng)用領(lǐng)域或功率預(yù)算，或是具有不同的價位。本文列出了目前市場上有代表性的10款AI加速處理器。

應(yīng)用處理器

英特爾Movidius Myriad X

Myriad X由愛爾蘭初創(chuàng)公司Movidius開發(fā)，該公司于2016年被英特爾收購。Myriad X是Movidius的第三代視覺處理單元，也是首款搭載專用神經(jīng)網(wǎng)絡(luò)計算引擎的處理器，可提供1TOPS的運(yùn)算能力，專門用于深度神經(jīng)網(wǎng)絡(luò)（DNN）計算。神經(jīng)網(wǎng)絡(luò)計算引擎與高吞吐量智能存儲器件直接連接，避免了數(shù)據(jù)傳輸時的任何存儲瓶頸。Myriad X支持FP16和INT8計算，擁有一個內(nèi)核群（包含16個專有SHAVE內(nèi)核），以及升級擴(kuò)展版的視覺加速器。

Myriad X可用于第二代英特爾神經(jīng)計算棒（NCS2），NCS2實際上是外形跟U盤一樣的評估平臺。它可以插入任何工作站，使AI和計算機(jī)視覺應(yīng)用能夠快速啟動并在專用的Movidius硬件上運(yùn)行。

恩智浦半導(dǎo)體i.MX 8M Plus

i.MX 8M Plus是一款異構(gòu)應(yīng)用處理器，采用芯原的專用神經(jīng)網(wǎng)絡(luò)加速器IP（Vivante VIP8000）。它為消費(fèi)者及工業(yè)物聯(lián)網(wǎng)端點(diǎn)設(shè)備提供2.3TOPS的推理加速能力，足以完成多個物體的識別、40，000個單詞的語音識別，甚至還可以對醫(yī)學(xué)影像進(jìn)行分類（MobileNet v1每秒對500個影像進(jìn)行分類）。

圖1：恩智浦的i.MX 8M Plus是該公司首款搭載專用神經(jīng)網(wǎng)絡(luò)加速器的應(yīng)用處理器，專為物聯(lián)網(wǎng)應(yīng)用而設(shè)計。（圖片來源：恩智浦半導(dǎo)體）

除神經(jīng)網(wǎng)絡(luò)處理器以外，i.MX 8M Plus還搭載運(yùn)行速度為2GHz的4核Arm Cortex-A53子系統(tǒng)，以及Cortex-M7實時子系統(tǒng)。針對視覺應(yīng)用，它提供兩個圖像信號處理器，可以支持兩個立體視覺高清相機(jī)或一個12MP相機(jī)。針對語音應(yīng)用，它提供一個800MHz HiFi4音頻數(shù)字信號處理器（DSP），可用于語音數(shù)據(jù)的預(yù)處理和后處理。

XMOS公司xcore.ai

xcore.ai用于實現(xiàn)人工智能物聯(lián)網(wǎng)（AIoT）應(yīng)用中的語音控制。它是一種交叉處理器，兼具應(yīng)用處理器的性能以及微控制器的低功耗與實時操作特性，用于語音信號的機(jī)器學(xué)習(xí)推理。

圖2：XMOS公司的xcore.ai采用專有架構(gòu)，專為語音應(yīng)用中的AI處理而設(shè)計。（圖片來源：XMOS）

它采用XMOS專有的Xcore架構(gòu)，包含的邏輯內(nèi)核可用于I/O、DSP、控制功能或AI加速。每顆xcore.ai芯片上有16個這樣的內(nèi)核，設(shè)計人員可以根據(jù)需要選擇為每種功能分配多少個內(nèi)核。通過將不同功能映射到固件中的邏輯內(nèi)核，可以創(chuàng)建一個“虛擬SoC”，這完全是通過軟件實現(xiàn)的。XMOS還在Xcore中增加了向量管道功能，用于機(jī)器學(xué)習(xí)。

xcore.ai支持32位、16位、8位和1位（二進(jìn)制）網(wǎng)絡(luò)，可提供3200MIPS、51.2GMACC和1600MFLOPS的運(yùn)算能力，同時擁有1MB嵌入式SRAM以及一個低功耗DDR擴(kuò)展接口。

汽車SoC

德州儀器TDA4VM

TDA4VM是德州儀器首款搭載專用深度學(xué)習(xí)加速器的片上系統(tǒng)（SoC），是應(yīng)用于汽車高級駕駛輔助系統(tǒng)（ADAS）的Jacinto 7系列的一部分。該模塊采用C7×DSP及內(nèi)部開發(fā)的矩陣乘法加速器（MMA），運(yùn)算能力高達(dá)8TOPS。

圖3：德州儀器的TDA4VM用于復(fù)雜的ADAS，使車輛能夠感知周圍環(huán)境。（圖片來源：德州儀器）

這款SoC可以處理來自一個8MP前置攝像頭的視頻流，或者處理來自4到6個3MP攝像頭加上雷達(dá)、LiDAR和超聲波傳感器的組合數(shù)據(jù)。例如，在自動代客泊車系統(tǒng)中，其搭載的MMA可用于對這些輸入數(shù)據(jù)進(jìn)行傳感器融合。

TDA4VM專為5W至20W的ADAS應(yīng)用而設(shè)計。該產(chǎn)品目前處于預(yù)生產(chǎn)階段，但已有可用的開發(fā)套件。

GPU

英偉達(dá)Jetson Nano

英偉達(dá)著名的Jetson Nano是一款外形小但功能強(qiáng)大的圖形處理單元（GPU）模塊，專門針對端點(diǎn)設(shè)備中的AI應(yīng)用。該公司表示，與大多數(shù)Jetson系列產(chǎn)品（AGX Xavier和TX2）一樣，Nano模塊上的GPU采用Maxwell架構(gòu)，有128個內(nèi)核，運(yùn)算能力達(dá)到0.5TFLOPS，足以處理多個高分辨率圖像傳感器的數(shù)據(jù)流并運(yùn)行多個神經(jīng)網(wǎng)絡(luò)，功耗僅為5W。該模塊還搭載了4核Arm Cortex-A57 CPU。

圖4：英偉達(dá)的Jetson Nano模塊搭載具有128個內(nèi)核的強(qiáng)大GPU，適合邊緣AI應(yīng)用。（圖片來源：英偉達(dá)）

與英偉達(dá)其他產(chǎn)品一樣，Jetson Nano也采用了英偉達(dá)的神經(jīng)網(wǎng)絡(luò)加速庫CUDA X。價格便宜的Jetson Nano開發(fā)套件已經(jīng)面市。

消費(fèi)類協(xié)處理器

Kneron公司KL520

Kneron是臺灣旅美科學(xué)家在美國成立的一家初創(chuàng)公司，首款產(chǎn)品為KL520神經(jīng)網(wǎng)絡(luò)處理器，專用于智能家居、安防系統(tǒng)和移動設(shè)備等應(yīng)用中的圖像處理和人臉識別。經(jīng)過優(yōu)化，它可以運(yùn)行圖像處理中常用的卷積神經(jīng)網(wǎng)絡(luò)（CNN）。

圖5：Kneron公司的KL520采用可重配架構(gòu)和巧妙的壓縮技術(shù)，在移動設(shè)備和消費(fèi)類設(shè)備中完成圖像處理。（圖片來源：Kneron Inc.）

KL520運(yùn)算能力達(dá)到0.3TOPS，功耗僅為0.5W（相當(dāng)于0.6TOPS/W）。該公司稱其芯片MAC效率超過90％，能夠?qū)崿F(xiàn)精確的人臉識別。芯片架構(gòu)可重新配置，并針對不同的CNN模型量身定制。Kneron公司的輔助編譯器采用壓縮技術(shù)，能夠在有限的芯片資源內(nèi)運(yùn)行更大的模型，從而節(jié)省了功耗和成本。KL520現(xiàn)已上市，制造商AAEON的加速卡中（M2AI-2280-520）便使用了這款處理器。

Gyrfalcon公司Lightspeeur 5801

Gyrfalcon公司的Lightspeeur 5801是為消費(fèi)類電子產(chǎn)品市場而設(shè)計的，可提供2.8TOPS的運(yùn)算能力，功耗為224mW（相當(dāng)于12.6TOPS/W），延遲僅為4ms。Gyrfalcon采用了比其他架構(gòu)更節(jié)能的“存儲器內(nèi)處理器（processor-in-memory）”技術(shù)，并且可以在50MHz和200MHz之間改變鐘速度，從而相應(yīng)地調(diào)節(jié)功耗。Lightspeeur 5801包含10MB存儲器，因此整個模型都可裝在芯片上。

Lightspeeur 5801是該公司生產(chǎn)的第四款芯片，已經(jīng)用在LG的Q70中端智能手機(jī)中，用于相機(jī)效果的推理。5801 Plai Plug U盤開發(fā)套件現(xiàn)已上市。

超低功耗

Eta Compute公司ECM3532

ECM3532是Eta Compute公司的第一款產(chǎn)品，在物聯(lián)網(wǎng)電池供電或能量采集設(shè)備中用于AI加速。在圖像處理和傳感器融合等一直處于運(yùn)行狀態(tài)的應(yīng)用中，其功耗可低至100μW。

該芯片搭載兩款內(nèi)核，Arm Cortex-M3微控制器內(nèi)核和NXP CoolFlux DSP。它采用專有的電壓和頻率調(diào)節(jié)技術(shù)，可以調(diào)節(jié)每個時鐘周期，以充分利用兩個內(nèi)核的每一瓦功率。兩個內(nèi)核的任何一個都可以執(zhí)行機(jī)器學(xué)習(xí)（但一些語音處理由DSP來完成更好）。ECM3532樣品已經(jīng)推出，預(yù)計第二季度開始量產(chǎn)。

Syntiant公司NDP100

NDP100處理器由美國初創(chuàng)公司Syntiant設(shè)計，可對超低功耗應(yīng)用中的語音命令進(jìn)行機(jī)器學(xué)習(xí)推理。這款芯片采用存儲器內(nèi)處理器技術(shù)，僅消耗不到140μW的有功功率，可運(yùn)行關(guān)鍵詞發(fā)現(xiàn)、喚醒詞檢測、說話人識別或事件分類等模型。

圖6：Syntiant公司的NDP100適合超低功耗應(yīng)用中的語音處理。（圖片來源：SyntiantCorp.）

Syntiant公司稱該產(chǎn)品將用于消費(fèi)類電子設(shè)備的語音操作，例如耳塞式耳機(jī)、助聽器、智能手表和遙控器。其開發(fā)套件已上市。

GreenWaves公司GAP9

GAP9是法國初創(chuàng)公司GreenWaves開發(fā)的第一款超低功耗應(yīng)用處理器，它搭載由9個RISC-V內(nèi)核組成的強(qiáng)大計算集群，其指令集經(jīng)過高度定制可以最大程度降低功耗。它具有雙向多通道音頻接口和1.6MB內(nèi)部RAM。

在電池供電的物聯(lián)網(wǎng)設(shè)備中，可使用GAP9來完成圖像、聲音和振動檢測等神經(jīng)網(wǎng)絡(luò)處理。根據(jù)GreenWaves數(shù)據(jù)顯示，在GAP9運(yùn)行MobileNet V1來處理分辨率為160×160的圖像時，通道縮放值為0.25，用時僅12ms，功耗低至806μW/幀/秒。