TensorFlow   網絡傳輸

0. 寫在前面

tensorflow分布式訓練時，grpc的 慢 一直都被很多人所詬病。在早期的版本中，由于實現的一些原因，的確存在一些性能問題(可以參見這個 issue )。

但隨著項目的迭代，現在性能如何，就有些莫衷一是了。這里通過對兩個項目master分支代碼的一些測試，希望能探討下這些問題。

1. 直觀的看傳輸速率

這里先用 一個測試程序 測試下tensor在兩個機器中的傳輸速率。測試使用的兩臺機器配置的都是萬兆以太網的網卡：

[work@host benchtools]$ ethtool eth0  
Settings for eth0:
...
        Speed: 10000Mb/s
...
在兩臺機器上分別跑測試程序的worker和ps：

[host1] python tensor_transfer_throughput.py --ps_hosts=host1:12222 --worker_hosts=host2:12222 --job=ps --task=0
[host2] python tensor_transfer_throughput.py --ps_hosts=host1:12222 --worker_hosts=host2:12222 --data_mb=100 --job=worker --task=0 --iters=100
測試程序干的事情很簡單：在ps和worker上各創建一個相同大小的variable, 然后worker反復將自己的variable assign給ps。在上面的測試中，我們將variable的大小設置為100M，傳輸次數為100。

測試結果在worker運行結束后可以看到：

[host2] python tensor_transfer_throughput.py --ps_hosts=host1:12222 --worker_hosts=host2:12222 --data_mb=100 --job=worker --task=0 --iters=100
....
transfer rate: 173.488801 MB/s
利用ifstat工具也可以看到網絡的傳輸性能：

[hosts1]$ ./ifstat
      eth0                eth1      
KB/s in  KB/s out   KB/s in  KB/s out
  191.95  176435.6      0.00      0.00
  206.18  170675.3      0.00      0.00
  222.45  220156.5      0.00      0.00
  162.84  169024.8      0.00      0.00
  224.44  211070.7      0.00      0.00
可以看到兩種測試的througput效果差不多。理論上來說ifstat可能會比worker的輸出稍微大一點，因為grpc要為每次傳輸額外添加一些header信息。但和100MB的數據相比，應該可以忽略不計。

但無論是哪個結果，離理論值的1.25GBps(10Gbps)差距仍舊非常大。所以初步來看，網卡的利用率是比較低的。

2. 單獨測試grpc

為了驗證問題是不是出在grpc這里，我利用 另一個測試程序 ，來測試grpc本身的傳輸效率。

程序不太復雜，要點包括：

client和server端的功能要簡單，盡量減少額外操作所帶來的時間開銷：client只負責無腦發送，server端也要直接丟棄收到的數據。

直接利用grpc的ByteBuffer，從而避免掉在發送和接收時的memcpy。這點和tensorflow發送tensor的流程也是一致的。

server端可以創建多個completion queue, 從而可以指定多個worker線程。

client利用異步接口。可以指定傳輸并發度，也可以允許grpc創建多個channel。

可以指定發送數據和響應數據塊的大小。

然后將程序部署到兩臺機器上開始測試。client每次向server發送100M數據，共發送1000條：

[host1] ./grpc_raw --job_type=server --server_threads=1 --message_size=10
[host2] ./grpc_raw --job_type=client --job_type=client --target_ip=host1 --total_message=1000 --message_size=104857600
利用ifstat看結果：

[work@host2 benchtools]$ ./ifstat
      eth0                 eth1      
KB/s in  KB/s out   KB/s in  KB/s out
  162.05  198529.9      0.00      0.00
  128.67  150799.5      0.00      0.00
  196.09  203136.0      0.00      0.00
  169.20  192864.8      0.00      0.00
  130.67  146532.7      0.00      0.00
可以看到和測tensor傳輸時類似，也是170MBps左右，離1.25GBps的理論值也差距較大。

3. 為什么慢

為了進一步確定問題，我用 iperf 工具對網絡的throughput做了單獨的測試：

[host1] ./iperf3 -s -i 5
[host2] ./iperf3 -c host1 -i 5 -t 1000
測試結果如下：