近日，英特爾宣布與科大訊飛達成技術合作，共同優化在機器學習與深度學習領域的離線訓練與在線預測，并在上周舉辦電博會上進行了展示。本文是網易智能對英特爾技術專家與科大訊飛深度學習平臺研發總監張致江的采訪，值得一讀。

英特爾AI芯片技術布局：CPU＋FPGA

據了解，2016年11月，英特爾和訊飛簽署了一個為期是三年的人工智能技術合作框架。英特爾與科大訊飛的技術合作涵蓋了深度學習的完整流程，包括數據采集，離線訓練（Traning），在線預測（Inferencing），采集新數據組，進行新的離線訓練。

機器學習／深度學習中最重要的技術是離線訓練和在線推理。針對離線訓練，英特爾和訊飛主要是針對現在的KNL和即將要發布的KNM來提升訊飛在深度學習平臺的性能。科大訊飛深度學習平臺研發總監張致江表示，英特爾下一代的處理器KNL和KNM這方面去做這樣的事情效果非常好，目前在這個上面做的跟主流的深度學習處理方案水平相差很小，同時下一代的KNL、KNM因為有很大的顯存、編程的特性，未來可能考慮用這種方案去做平臺建設。張致江稱，現在主流的一些加速方案可能會限制整個計算的memory，而KNL、KNM實際上是打破了這樣一個限制。

在線推理方面，主要是用英特爾的FPGA技術。張致江稱，在線預測傳統的方法基本上都是用CPU的方式去做這樣的事情，但是隨著業務量的增長整個服務器的數量也是隨著線性增長的，成本太高。張致江稱，我們在用CPU加FPGA的方案去做的時候，一臺服務器里面就插了一張FPGA的加速處理器，整個性能是遠遠超過于兩臺甚至三臺、四臺CPU機器的性能，成本也會降低很多。

也就是說，英特爾將人工智能芯片的技術路徑分為離線訓練與在線推理兩方面，針對離線訓練會主推至強融核KNL／KNM處理器（KNM尚未上市），特點是針對單精度操作進行了優化，支持自啟動，能夠獨立運行操作系統和應用軟件，內置片上內存，直接通過內存控制器從DDR4內存讀取數據到處理器緩存，對行業標準的開源深度學習框架進行了優化。在線預測階段，英特爾主推至強CPU＋Arria10FPGA的方案，聲稱可以實現低延遲高通量在線處理，因為英特爾A10FPGA原生支持并行多通道任務處理，超過1500個單精度浮點計算單元會同片上／本地存儲提供穩定的低處理遲延，成本更低。

基于CPU＋FPGA，能替代GPU嗎？

英特爾人工智能事業部（AIPG）首席技術官Amir Khosrowshahi在最近接受媒體采訪時表示，目前所使用GPU太低級了，半導體行業需要構建全新的神經網絡架構。Khosrowshahi認為，在執行圖形渲染過程中輔助圖形處理單元的部分功能是沒有必要的，比如大容量緩存，頂點處理，渲染和紋理等等，從能源利用率上考慮也產生了相當高的成本。Khosrowshahi稱，“神經網絡則相當簡單，利用小巧的矩陣乘法和非線性就能直接創建半導體來實現GPU的功能，而且你所創建的半導體非常忠誠于神經網絡架構，顯然這是GPU所無法給予的。”

而CPU＋FPGA的優勢在于，對于開發人員CPU的編程是相對比較容易的。如果說是用CPU加另外一個企業的加速處理器，往往這個加速處理器跟CPU不是編程體系或者不是一個優化體系，那么就要選另外一套優化體系。張致江稱，如果你不是學計算機專業的，這相當于另外一個，它是一個異構體系，你去優化這個異構體系的性能，實際上還是非常吃力的，它甚至跟CPU完全不一樣。英特爾出了KNL、KNM這樣的東西，你在CPU上寫的程序直接放上去就可以了，只要再學習一點點優化方法效率就能很好，所以我覺得這個接受程度會更高。

但顯然，GPU是占了先機的，NVIDIA的方案是目前人工智能的主流。張致江坦言，人工智能剛剛興起也就是這幾年，剛剛興起之初業內很多人都是用GPU這個方案去做的，但是AI有自己的一些計算特點，這時候我們就看了KNL和FPGA，我們做的KNL、FPGA不能說是比它多好或者比它差，它是兩種不同應用領域的東西，有擅長、有適合的地方，GPU有些地方走的時間比較早一點，可能它的庫各方面會成熟一些。因為FPGA的原因，在編程方式各方面更加容易，會更加適合這樣一些特殊應用場景的需求。

英特爾技術專家認為，FPGA最初是用在通訊領域，在英特爾收購的Altera這家公司出的這一代產品，當時很多人普遍認為他們出的這一代東西不是很好，為什么不是很好呢？是因為在通訊領域另外一些發現會更好，但是后來我們做過研究發現A10這一代更加適合深度學習和大數據的應用場景，而且獲得了非常好的效果。

谷歌TPU秒殺CPU／GPU，CPU＋FPGA能招架嗎？

英特爾用CPU＋FPGA叫板GPU，但谷歌的TPU成了螳螂后面的黃雀。

近日，谷歌首次透露TPU細節，其執行谷歌常規機器學習工作負載的處理速度比GPU／CPU快15－30倍。這一消息表明隨著人工智能的發展，以往的GPU／CPU架構已經相對落后。

不過除了Google，英特爾通過不斷的收購也在進行相關的研發。Khosrowshahi給出的答案：就是目前尚在開發中的LakeCrest，這是英特爾今年會面向部分客戶提供離散加速器。但伴隨著時間的推移，它將會成為Xeon處理器的最佳伴侶。

另外，軟件的優化和整合也是英特爾、英偉達、谷歌搶占市場的關鍵。張致江稱，無論在前端還是后端，英特爾擅長的其實是底層的計算架構、硬件這一塊，訊飛特別擅長的在于軟件這一塊，包括有自己的算法、神經網絡、數據結構模型、處理方式等等。