英特爾首屆AI開發者大會發布了一系列機器學習軟件工具，并宣布包括其首款商用神經網絡處理器產品將于2019年推出。英特爾在舊金山舉辦第一屆AI開發者大會（AI Dev Con），英特爾人工智能負責人Naveen Rao做了開場演講。

Rao此前是Nervana的CEO和聯合創始人，該公司于2016年被英特爾收購。

Naveen Rao

在會上，Rao發布了一系列機器學習軟件工具，并宣布英特爾新一代產品，其中包括其首款商用NNP產品NNP-L1000，將于2019年推出。

以下從軟件和硬件兩個方面介紹AI Dev Con的重點。

MKL-DNN是用于深層神經網絡的數學內核庫。它是神經網絡中常見組件的數學程序列表，包括矩陣乘數、批處理規范、歸一化和卷積。該庫針對在英特爾CPU上部署模型進行了優化。

nGraph開發者選擇不同的AI框架，它們都有各自的優點和缺點。為了使芯片具有靈活性，后端編譯器必須能夠有效地適應所有的芯片。

nGraph是一個編譯器，它可以在英特爾的芯片上運行。開發人員可能想要在英特爾的Xeons處理器上訓練他們的模型，然后使用英特爾的神經網絡處理器(NNP)進行推理。

BigDL是Apache Spark的另一個庫，它的目標是通過分布式學習在深度學習中處理更大的工作負載。應用程序可以用Scala或Python編寫，并在Spark集群上執行。

OpenVINOA軟件工具包用于處理“邊緣”(即攝像頭或移動電話)視頻的模型。開發人員可以實時地做面部識別的圖像分類。它預計將在今年晚些時候開放，但現在可以下載了。

再來看硬件部分。

英特爾在這方面比較沉默，沒有透露更多的細節。

“幾年前Xeons不適合AI，但現在真的已經改變了。”Rao強調，增加的內存和計算意味著自Haswell芯片以來性能提高了100倍，并且推理的性能提高了近200倍。

“你可能聽說過GPU比CPU快100倍。這是錯誤的。”他補充說，“今天大多數推理都是在Xeons上運行的。”

Rao沒有提到Nvidia，他解釋說GPU在深度學習方面起了個好頭，但受限于嚴重的內存限制。 Xeon擁有更多的內存，可以擴展到批量大的內存，因此它更適合推理。

在現場，ZIVA CEO James Jacobs還介紹了如何將Xeons用于3D圖像渲染。

左邊的獅子是沒有使用AI，右邊的獅子使用了AI，效果很棒。

他也簡要地談到了FPGA加速的問題，并表示英特爾正在研發一種“離散加速器”（discrete accelerator）進行推理，但沒有透露更多細節。

同時，還介紹了Intel Movidius的神經計算棒。它是一個U盤，可以運行使用TensorFlow和Caffe編寫的模型，耗電量大約一瓦。去年，英特爾公司決定終止其可穿戴設備，如智能手表和健身腕帶。

現場還展示了一段用計算棒來進行AI作曲的DEMO，人類演奏者演奏一段曲子，AI能夠在這段曲子的基礎上進行創作。

英特爾去年宣布神經網絡處理器（NNP）芯片。雖然沒有發布任何基準測試結果，但英特爾表示將會有可供選擇的客戶。

Rao也沒有透露多少細節。不過，大家所知道的是，它包含12個基于其“Lake Crest”架構的內核，總共擁有32GB內存，在未公開的精度下性能達到40 TFLOPS，理論上的帶寬不足800納秒，在低延遲的互連上，每秒2.4兆的帶寬。

最后介紹了NNP L1000，Rao對它的介紹更少，這將是第一個商業NNP模型，并將在2019年推出。它將基于新的Spring Crest體系結構，預計將比之前的Lake Crest模型快3到4倍。

開發者大會的當天，英特爾官網發出一篇Rao的署名文章，對英特爾Nervana神經網絡處理器（NNP）進行了介紹。

Nervana NNP有一個明確的設計目標，可實現高計算利用率和支持多芯片互連的真模型并行。

行業里討論了很多關于最大的理論性能，然而，實際情況是，除非體系結構有能夠支持這些計算元素的高利用率的儲存器子系統，否則大部分計算都是沒有意義的。此外，行業發布的大部分性能數據使用的是大型矩陣，這些矩陣通常在現實世界的神經網絡中并不常見。

英特爾專注于為神經網絡創建一個平衡的架構，它還包括低延遲的高芯片到芯片帶寬。NNP系列的初始性能基準在利用率和互連方面顯示出強勁的競爭力。具體包括：

使用A(1536, 2048)和B(2048, 1536)矩陣進行矩陣乘法運算的一般矩陣，在單個芯片上實現了96.4個百分點的計算利用率。這代表了在單個芯片上的實際(非理論)性能的38TOP/s。支持模型并行訓練的多芯片分布式GEMM操作實現了A（6144,2048）和B（2048,1536）矩陣大小的接近線性縮放和96.2％的縮放效率，使得多個NNP能夠連接在一起，并將我們從其他架構的內存限制中釋放出來。

我們測量了89.4 %的單方向芯片到芯片的效率，理論上的帶寬小于790ns(納秒)的延遲，并且將其應用于2.4Tb/s的高帶寬、低延遲互連。

所有這些都在單芯片總功率范圍內低于210瓦的情況下進行，這只是英特爾Nervana NNP（Lake Crest）原型。

英特爾將在2019年提供第一個商用NNP產品——英特爾Nervana NNP-L1000（Spring Crest）。

預計英特爾Nervana NNP-L1000的性能將達到第一代Lake Crest產品的3-4倍。

在英特爾Nervana NNP-L1000中，還將支持bfloat16，這是一種業界廣泛用于神經網絡的數字格式。

隨著時間的推移，英特爾將在其AI產品線上擴展bfloat16支持，包括英特爾Xeons處理器和英特爾FPGA。