前段時間一直在關注 CNN 的實現，查看了 caffe 的代碼以及 convnet2 的代碼。目前對單機多卡的內容比較感興趣，因此特別關注 convnet2 關于 multi-GPU 的支持。

其中 cuda-convnet2 的項目地址發布在：Google Code：cuda-convnet2

關于 multi-GPU 的一篇比較重要的論文就是：One weird trick for parallelizing convolutional neural networks

本文也將針對這篇文章給出分析。
?

1、簡介

介紹一種卷積神經網絡訓練過程中的SGD的并行化方法。

兩個變種

模型并行： 不同的 workers 訓練模型的不同 patrs，比較適合神經元活動比較豐富的計算。

數據并行： 不同的 workers 訓練不同的數據案例，比較適合 weight 矩陣比較多的計算。

2. 觀察

現代卷積神經網絡主要由兩種層構成，他們具有不一樣的屬性和性能：
1）卷積層，占據了90% ~ 95% 的計算量，5% 的參數，但是對結果具有很大的表達能力。
2）全連接層，占據了 5% ~ 10% 的計算量， 95% 的參數，但是對于結果具有相對較小的表達的能力。

綜上：卷積層計算量大，所需參數系數 W 少，全連接層計算量小，所需參數系數 W 多。因此對于卷積層適合使用數據并行，對于全連接層適合使用模型并行。

3. 推薦的算法

前向傳播

1)K workers 中的每一個 worker 都提供不同的 128 個 examples 的 data batch，也就是每一個 worker 的數據都是不一樣的。
2)每一個 worker 都在其 data batch 上計算卷積層。每一個 worker 的卷積層是按照順序執行的。
3)全連接層的計算，分為以下三種方式：
(a) 每一個 worker 將其最后階段的卷積層 activities 傳遞給其他的 worker。這些 workers 將這 128K 個 examples 配置成一個大的 batch，然后在這個 batch 上計算全連接層。
(b) 第一個 worker 將其最后階段的卷積層 activities 傳遞給其他 workers，這些 workers 計算 128 個 examples 配置成的 batch 并且開始反向傳遞。（與這一次計算并行的同時，第二個 worker 將卷積層的 activities 傳遞到所有的 workers 中，即實現了 activities 傳遞和計算之間的流水線）。
(c) 全部的 workers 傳遞 128/K 個卷積層的 activities 到其他的 workers，計算方式同(b)。

對于上述(a~c)三種不同的全連接層實現方式，進行如下的分析：

(a) 當 128K images 配置到每一個 worker 的時候，所有有用的 work 必須要暫停。另外大的 batches 消耗大量的顯存，這對于 GPU 顯存有限制的設備是不希望發生的。另一方面，大的 batches 有利于 GPU 性能的發揮。

(b) 所有的 workers 輪流將他們的 activities 傳播到所有的 workers 上面。這里輪流執行得到的最重要的結果是可以將大部分傳播通信時間隱藏（因為他可以在上一次計算的時候，與計算一起并行處理，確切是 K-1 次通信時間可以隱藏）。這樣做的意義非常的重大，可以實現一部分流水，使得通信時間隱藏，達到了很好的并行效果。

(c) 與 (b) 的方案類似。他的一個優勢就是通信與計算的比例是常數 K，對于 (a) 和 (b)，與 K 成比例。這是因為 (a) 和 (b) 方案經常會受到每一個 worker 的輸出帶寬的限制，方案 (c) 可以利用所有的 workers 來完成這一任務，對于大的 K 會有非常大的優勢。

反向傳播

1) workers 按照通常的方式在全連接層計算梯度。
2) 按照前向傳播中不同的實現方案，這里會有對應的三種方案：
(a) 每一個 worker 都為整個 128K examples 的 batch 計算了 activities 的梯度。所以每一個 worker 必須將每一個 example 的梯度傳遞給前向傳播生成這個 example 的 worker 上面。這之后，卷積層的反向傳播按照常規方式獲取。
(b) 每一個 worker 已經為 128 examples 的 batch 計算了 activities 的梯度，然后將這些梯度值傳遞給每一個與這個 batch 相關的 workers 上。（在傳播的同時，可以進行下一個 batch 的計算）。在經過 K 次前向和反向的傳播，所有的梯度值都將被傳播到卷積層。
(c) 與 (b) 類似。每一個 worker 計算了 128 examples batch 的梯度，這 128-example batch 來自于每一個 worker 的 128/K-examples，所以為了正確的分配每一個梯度，需要安裝相反的操作來進行。

Weight 權值矩陣同步

一旦反向傳播完成之后，workers 就可以更新 weight 矩陣了。在卷積層，workers 也必須同步 weight 矩陣。最簡單的方式可以按如下進行：
1) 每一個 worker 指定到梯度矩陣的 1/K 進行同步。
2) 每一個 worker 從其他的 worker 累計對應的 1/K 的梯度。
3)每一個 worker 廣播這 1/K 的梯度。

對于卷積層來說，這個比較容易實現，因為它的 weights 系數比較少。