中國是全球最大的在線零售市場，而阿里巴巴則是中國最大的電子商務(wù)公司。作為阿里巴巴集團(tuán)旗下的云計(jì)算和數(shù)據(jù)智能部門，阿里云為國際客戶的在線業(yè)務(wù)及阿里巴巴集團(tuán)自身的電子商務(wù)生態(tài)系統(tǒng)提供綜合全面的成套全球云計(jì)算服務(wù)。在公有云服務(wù)提供商市場上，阿里云的市場份額位居亞太地區(qū)首位。

阿里云的業(yè)務(wù)之一是為眾多第三方廠商處理海量產(chǎn)品圖像。由于一些圖像內(nèi)含有未付費(fèi)廣告等多余文本信息，給付費(fèi)廣告業(yè)務(wù)造成不利影響，因此，為了確保電子商務(wù)網(wǎng)站提供一致的體驗(yàn)，需要以 AI 推斷對(duì)每天數(shù)千萬幅圖像中嵌入的有害文本或多余文本進(jìn)行檢測，隨之而來的是巨大的 AI 推斷計(jì)算工作負(fù)載以及高昂的運(yùn)營成本。

借助 ML 框架在賽靈思 FPGA 上直接加速 Yolo-v2

阿里巴巴過去使用 GPU 運(yùn)行 Yolo-v2 Tiny（數(shù)據(jù)類型為 Float32），通過這種方法掌握每日千萬級(jí)的圖像內(nèi)容。由于該架構(gòu)未經(jīng)充分優(yōu)化，GPU 只能實(shí)現(xiàn)有限的每秒查詢次數(shù) （QPS） 吞吐量，導(dǎo)致用電成本高、服務(wù)器空間占用大。為了降低運(yùn)營費(fèi)用，阿里巴巴尋求比 GPU 成本更低的解決方案來檢測有害或多余的文本信息。

依托于賽靈思 16nm Virtex UltraScale+? FPGA 的高度自適應(yīng)架構(gòu)，阿里云 FaaS 團(tuán)隊(duì)在 Int16 上運(yùn)行 Yolo-v2 Tiny 模型，在媲美 GPU 精度的前提下實(shí)現(xiàn)一流的 QPS 性能。單片賽靈思 UltraScale+ FPGA 每秒能處理數(shù)百幅圖片，與最初的 GPU 實(shí)現(xiàn)方案相比性能提高 3.5 倍。在 FaaS 的啟發(fā)下，雖然GPU通過完成類似優(yōu)化也可以達(dá)到類似性能，但賽靈思解決方案的單幅圖像成本更低。除此之外，賽靈思 Vitis AI 在加快開發(fā)速度方面也有著上佳表現(xiàn)。

VU9P 與 GPU 運(yùn)行 YOLO V2 Tiny 的對(duì)比

賽靈思 Vitis AI 堆棧

在不降低精度的前提下節(jié)省 75% 總擁有成本

Vitis AI 支持開發(fā)者在無需編寫任何 RTL 代碼的情況下，優(yōu)化 DNN 模型并將預(yù)訓(xùn)練的 DNN 模型部署到賽靈思 FPGA 中。其運(yùn)行時(shí)及外殼程序讓開發(fā)者無需成為 FPGA 專家就能夠充分從賽靈思硬件加速中獲益。

阿里巴巴云和智能FPGA異構(gòu)計(jì)算負(fù)責(zé)人張振祥負(fù)責(zé)領(lǐng)導(dǎo)該項(xiàng)目并成功在 F3 實(shí)例上實(shí)施了 AI 加速。

阿里云 FaaS 在云端提供統(tǒng)一的硬件平臺(tái)與中間件。在賽靈思 Vitis AI 的支持下，阿里云 FaaS 能夠大幅降低 AI 加速器的開發(fā)成本與部署成本。加速器廠商可以將加速器以服務(wù)形式提供給用戶，克服加速技術(shù)的硬件壁壘。用戶可以按需使用加速服務(wù)，不必理解底層硬件詳情。借助 Vitis AI，阿里巴巴和賽靈思聯(lián)合開發(fā) AI 加速解決方案的最大優(yōu)勢在于，阿里巴巴不需要任何人成為使用 FPGA 技術(shù)的專家。

此外，張振祥還指出：“起初，很多人對(duì)于將 FPGA 用于 AI 領(lǐng)域的前景并不看好，因?yàn)?GPU 使用方便且支持所有框架。但是，阿里云與賽靈思合作充分證明了其實(shí) FPGA 更適合該領(lǐng)域中的特定場景。”

FPGA 更適合！

FPGA 更適合某些領(lǐng)域中的特定場景，尤其是在云 AI 推斷方面有顯著的成本優(yōu)勢。例如：

云端外殼程序使開發(fā)工作大幅簡化；

小寬度及修剪所需成本及功耗大幅降低；

圖像銳化及 FFT 過濾器等 IP 會(huì)為部分創(chuàng)新應(yīng)用創(chuàng)造額外價(jià)值。

通過 FaaS 平臺(tái)，加上大量的 ISV 及獨(dú)立的 IP 開發(fā)商，F(xiàn)PGA 會(huì)在云端 AI 推斷領(lǐng)域迎來大量機(jī)遇。