幾個月前注意到Graphcore這個公司，是因為他們的IPU處理器：Intelligence Processing Unit。但除了看到他們一系列非常漂亮的DNN Graph（比如上面這個對于ResNet Conv1的可視化處理）之外，一直沒有更詳細的信息。在最近的RAAIS會議上，Graphcore的CTO，Simon Knowles做了一個介紹，讓我們可以一窺IPU設計背后的一些思考。

“We’ve created a completely new processor that’s the first to be specifically designed for machine intelligence workloads – an Intelligence Processing Unit (IPU) that will set a new pace of innovation. ” “The IPU has been optimized to work efficiently on the extremely complex high-dimensional models needed for machine intelligence workloads. It emphasizes massively parallel, low-precision floating-point compute and provides much higher compute density than other solutions.” - Graphcore

從目前看到的信息，可以看到Graphcore IPU的一些關鍵Feature：

1. 同時支持Training和Inference，對于這一點，Grophcore有自己的一些獨特的看法。

2. 采用同構多核（many-core）架構，超過1000個獨立的處理器。每個處理器核的處理能力和具體支持的操作還不清楚。支持all-to-all的核間通信，采用Bulk Synchronous Parallel的同步計算模型（又是上個世紀80年代提出的）。

3. 采用大量片上memory，不直接連接DRAM。這可能是他們的架構中最激進的一個選擇。

其它一些feature，比如

1. Training or Inference
Graphcore’s machine intelligence processors support both training and inference. If you’re thinking about it in terms of training and inference, though, you’re probably thinking about hardware for machine learning in the wrong way.

可以看出，當被問及他們的IPU是用于Training還是Inference的（這是對各種PU最常見的一個問題）時候，Graphcore試圖從另一個角度去解答，即這種分類本身就是不對的（是目前某些廠商提出的不合適的說法）。總的來說，他們認為先做Training然后做Inference的機制，未來一定會被Learning取代。也就是未來理想的機器智能應該能夠在部署之后還能保持持續的學習和進化。對于這個問題，Graphcore專門有一篇Blog做了說明，大家可以參考我在知乎上給出的翻譯（https://zhuanlan.zhihu.com/p/28053630）。

另一方面，他們認為，從計算上來說，Inference和Training也有類似的特征。因此，他們的模型是下圖這樣，其中并沒有Training的模塊。

我的看法：
機器智能努力的方向之一就是Continuous Learning。如果在一個架構上能夠同時很好的支持Training和Inference當然非常理想。不過從目前的實踐來看，Deep Learning中的Training和Inference還是有較大的差異的，運算量的巨大差別，精度要求不同，算法差別，部署的Constraints等等。Graphcore最終推出的IPU能否很好的解決這些問題，還有待觀察。

2.? What Shall we bet is fundamental to MI workload

IPU的設計的基礎是Graphcore對于機器智能的Workload的理解。“在所有形式的機器智能計算中，我們試圖從數據中推斷知識模型，然后使用這些學習的模型從其他數據推斷出新的結果。所以在很大程度上，工作量是由知識模型的性質來定義的”。“知識模型和對它們執行推理所需的算法最自然地表示為圖形（Graph）”。因此，他們用Graph來作為機器智能的基礎表示方法。這種表示既適用于神經網絡，也適用于貝葉斯網絡和馬爾科夫場，包括未來可能出現的新的模型和算法。

這些Graph的第一個特征，是它們規模很大，通常包括數千到數百萬個頂點。這也意味著巨大的并行性。第二個特征是它們是稀疏的，大多數頂點只連接到其他一小部分頂點。因此，必須在架構上適應這種稀疏性，因為它對處理器之間的存儲器訪問模式和通信模式有重大影響。第三個基本特征是數據的統計近似值。從處理器設計的觀點來看，這有利于低精度浮點運算。這可能是低精度數據的高性能計算的第一個主要應用，和傳統的高性能計算（HPC）是非常不同的（或者說完全相反的？）。另一個特征是模型參數的重用性。簡單來說，卷積是空間重用，而回歸是時間重用。這種重用可以獲取數據中的空間或時間不變性。同時，如果重用參數，則會將其作用于給更多的數據，從而更快地學習。最后一個基本特征是，圖形結構可以被視為靜態的 - 至少在很長一段時間內。這對于構建高效的并行計算至關重要，因為使得編譯器可以在將程序映射到多核并行處理器時的三個NP hard任務有可能實現：1）平衡跨處理器核的計算任務；2）分區和分配內存；3）處理器之間的消息調度。

對于稀疏性，還可以更進一步的說明一下。當我們把圖模型存儲到物理可實現的存儲器中的時候，存儲器訪問的有效稀疏度進一步增加了。例如，一個圖中的頂點可能連接到同樣接近的100個相鄰頂點。但是，如果我將該頂點的狀態存儲在具有線性地址的存儲器中，則它只能有兩個直接鄰居。在低維存儲器中存儲高維Graph的效果是使鄰域分散在存儲器中。這對于非常寬的向量機（如GPU）來說是一個潛在的問題。圖處理有利于更細粒度的機器，從而有效地分散和收集（scatter and gather）數據。這就是為什么IPU擁有比GPU更多的處理器，每個處理器都設計用于處理較窄的向量。

基于上述對機器智能的Workload的理解，Graphcore提出了IPU的設計。

和CPU (scalar workload)，GPU (low-dimensional workload)相比，IPU是為了high-dimensional graph workload而設計的。下面我們就看他們的一些比較有參考價值的設計上的考慮。