硬件加速器已在數據中心得到普遍使用，一系列新的工作負載已經能夠成熟地發揮 FPGA 的加速優勢及其更優異的計算效率。業界對機器學習 (ML) 的關注度不斷提高，推動 FPGA 加速器在私有云、公有云、混合云數據中心環境中日益普及，從而為計算密集型工作負載加速。近期，在推動 IT 基礎設施向異構計算轉型的過程中，賽靈思與 VMware 展開協作，在 VMware 的云計算虛擬化平臺vSphere上測試 FPGA 加速。由于賽靈思 FPGA 越來越廣泛地應用于 ML 推斷加速，本文將展示的是如何將賽靈思 FPGA 與 VMware vSphere 相結合，在虛擬部署和裸機部署上實現基本相同的高吞吐量、低時延 ML 推斷性能。

“自適應計算”的優勢
FPGA 是一種自適應計算器件，能夠靈活地進行重新編程，從而滿足目標應用不同的處理需求和功能要求。該特性使 FPGA 從 GPU 和 ASIC 等架構固定的器件中脫穎而出，更是遠遠優于成本不斷飆升的的定制 ASIC。此外，與其他硬件加速器相比，FPGA 還具備高能效、低時延的優勢，使 FPGA 特別適用于 ML 推斷工作。與基本依靠大量并行處理核心實現高吞吐量的 GPU 不同的是，FPGA 通過定制化硬件內核、數據流流水線和互聯，助力 ML 推斷同時實現高吞吐量和低時延。

01. 在 vSphere 上使用 FPGA 開展 ML 推斷

VMware 在其實驗室中使用賽靈思 Alveo U250 數據中心卡進行測試。使用在Vitis AI中提供的 Docker 容器——為從邊緣到云端的賽靈思硬件平臺提供的 ML 推斷統一開發棧，ML 模型可以迅速完成配置。該容器由經過優化的工具、庫、模型和示例構成。Vitis AI 支持含 Caffe 和 TensorFlow 在內的主流框架以及能夠執行多種深度學習任務的最新模型。此外，Vitis AI 是一種開源應用，可通過訪問GitHub獲取。

圖 1：Vitis AI 軟件協議棧

目前，賽靈思 FPGA 通過 DirectPath I/O 模式（直通模式）能在 vSphere 上使用。在這種模式下，我們的 FPGA 能夠由運行在虛擬機內部的應用直接訪問，繞過程序管理層，從而最大化性能并最大限度降低時延。配置 DirectPath I/O 模式下的 FPGA 只需簡單的兩步流程：首先，在主機層面上啟用 ESXi，然后將器件添加到目標虛擬機。詳細操作方法參見 VMware KB 一文（ https://kb.vmware.com/s/article/1010789 ）。請注意，如果運行的是 vSphere 7，則不再需要重啟主機。

02. 高吞吐量、低時延 ML 推斷性能

通過與賽靈思合作，VMware 使用四個 CNN 模型執行推斷任務，對我們的 Alveo U250 加速器卡在 DirectPath I/O 模式工作下的吞吐量和時延性能進行評估。這四個模型分別為Inception_v1、Inception_v2、Resnet50 和 VGG16。這些模型在模型參數數量上不盡相同，因而具備不同的處理復雜性。

測試在搭載兩顆 10 核 Intel Xeon Silver 4114 CPU 和 192GB DDR4 存儲器的 Dell PowerEdge R740 服務器上進行。我們使用 ESXi 7.0 虛擬機程序管理器，將每種模型的端到端性能結果與作為基線的裸機性能進行對比。Ubuntu 16.04（內核版本 4.4.0-116）用作客戶端操作系統和本地操作系統。此外，在整個測試過程中將 Vitis AI v1.1 與 Docker CE 19.03.4 結合使用。同時使用源于 ImageNet2012 的 50k 圖像數據集。為進一步避免圖像讀取過程中遭遇磁盤瓶頸，還創建了一個 RAM 磁盤用于存儲 50k 圖像。

完成這些設置后，虛擬測試和裸機測試之間的性能比較可從下面的兩個圖中進行觀察。一個針對吞吐量，另一個針對時延。y 軸代表虛擬測試和裸機測試間的吞吐量性能比值。y=1.0 代表虛擬測試和裸機測試的吞吐量性能結果相同。

圖 2：在 Alveo U250 FPGA 上運行 ML 推斷時裸機測試和虛擬測試的吞吐量性能比較

圖 3：在 Alveo U250 FPGA 上運行 ML 推斷時裸機測試和虛擬測試的時延性能比較

測試證明，虛擬環境和裸機間在吞吐量和時延兩方面的性能差距最大不超過 2%。這說明在虛擬環境中運行在 vSphere 上的 Alveo U250 的 ML 性能與作為基線的裸機性能極為相近。

03. 云端的 FPGA 性能

在數據中心中采用 FPGA 加速器已成為普遍現象，而且為滿足對異構計算和性能提升的需求，FPGA 加速器的應用還將繼續增長。我們非常高興能夠與 VMware 展開合作，共同確保客戶能充分發揮運行在 vSphere 平臺上的賽靈思 FPGA 加速的全部優勢。我們在 vSphere 上對我們的 Alveo U250 加速器卡進行 ML 推斷性能測試，成功地向客戶證明了該器件在 DirectPath I/O 模式下能夠實現接近裸機的性能。

編輯：hfy