一、什么是GPU

GPU：Graphics Processing Unit，即圖像處理單元，是一種專門處理圖像運算工作的微處理器。

CPU是由若干核（core）和許多的緩存（cache memory）組成，因此CPU可以并行處理若干線程。相對地，GPU是由幾百個核組成，因此可以并發處理數千個線程。盡管GPU的內核數目遠遠超過CPU，但是它的每個核的處理能力遠小于CPU的核，而且不具有現代操作系統的所需要的一些特性，GPU并不合適用于處理普通的計算。它們更多地用于計算消耗性操作，比如視頻處理和物理仿真等。

二、虛擬化環境GPU使用方式

在虛擬化環境中，GPU使用目前可以分為以下幾類：GPU直通模式，即GPU透傳；GPU SR-IOV，目前主要是AMD在采用此種方案；GPU分片虛擬化，包括Intel GVT-g和NVIDIA GRID vGPU。

以下是對這些方案的簡單介紹：

1.GPU透傳：物理GPU直接透傳給虛機。第一種方案，在我們的產品里已經實現，且支持大部分GPU設備。對于Windows鏡像，我們建議云主機從UEFI啟動。

2.GPU SR-IOV：使用SR-IOV技術，將物理GPU劃分成多個VF，每個VF提供給云主機使用。AMD采用的就是這種方案，目前市場上2款產品S7150和MI25。

3.GPU分片虛擬化。Intel提供GVT-g方案：針對不同的hypervisor，應用于KVM上，叫KVMGT；應用于Xen上，稱為XenGT。

NVIDIA GRID vGPU產品系列

以上2個廠家均采用GPU分片虛擬化方案，即基于Linux內核VFIO mediated框架。此方案的kernel部分代碼稱為mdev模塊，由Intel和NVIDIA共同提交到4.10內核，但是CentOS已經backport到3.10.x內核。分片虛擬化與透傳的區別是，分片虛擬化把會影響性能的訪問直接透傳給虛擬機，把性能無關和功能性的MMIO訪問做攔截并在mdev模塊內做模擬。

當然，也可以簡單的理解為對物理GPU資源的分片劃分，如物理GPU的顯存大小為16G，如果劃分出4個vGPU，那么每個vGPU的顯存大小就是4G。實現GPU分片虛擬化需要滿足以下條件：

1.硬件支持：Intel需要特定的CPU支持，Intel(r) Xeon(r) E3_v4, E3_v5 and E3_v6 with Intel Graphics processor。NVIDIA也需要特定的GPU卡，可參考NVIDIA官方網站。

2.內核版本、QEMU版本（v2.0及以上）

3.GPU mdev驅動支持，這部分Intel已經開源，但是NVIDIA不開源，需要通過License來獲取。從AWStack 2.6版本，我們產品支持GPU透傳，即將一個物理的GPU設備透傳給某一個云主機，獨享物理GPU資源。實現GPU虛擬化，每個云主機擁有一個vGPU設備，在滿足客戶圖像視頻處理、機器學習、深度學習等應用場景的同時，做到物理GPU資源共享。

如何在產品中使用NVIDIA vGPU

一、前期準備

1.采購到NVIDIA支持GPU虛擬化的物理GPU卡后，需要在NVIDIA官方網站上注冊賬號， 并購買License或申請90天的試用版。針對Hypervisor類型可下載不同版本的軟件包：

2.安裝物理GPU卡，GPU卡對散熱要求比較高，如果溫度過高會出現掉卡問題。

3.安裝NVIDIA vGPU manager之前先禁用操作系統上的Nouveau驅動

1）在安裝GPU卡的物理節點上，新建文件

/etc/modprobe.d/nvidia-installer-disable-nouveau.conf

blacklist nouveau

options nouveau modeset=0

2）重新生成ramdisk，并重啟物理節點：

# dracut –force

# reboot

3）在安裝有物理GPU卡的物理節點上安裝vGPU manager軟件

#?chmod 777 NVIDIA-Linux-x86_64-440.43-vgpu-kvm.run

# ./NVIDIA-Linux-x86_64-440.43-vgpu-kvm.run

4）確認nvidia_vgpu_vfio內核模塊已被加載

# lsmod |grep nvidia_vgpu_vfio

5）啟動并加載nvidia-vgpu-mgr服務

# systemctl enable nvidia-vgpu-mgr.service

# systemctl start nvidia-vgpu-mgr.service

6）重啟物理機器

# reboot

7）確認內核mdev目錄是否生成

# ls /sys/class/mdev_bus/

0000:18:00.0?0000:82:00.0

4.搭建NVIDIA License Server

云平臺云主機使用vGPU，需要獲取License，一般需要在客戶環境里搭建License server，可以是單節點，也可以部署兩臺做HA。License server安裝時，需要將從官網上獲取到的License文件，上傳到License server上。云主機需要能訪問License server的7070端口，來獲取License。

二、用戶使用流程：

1.前期準備工作完成后，登錄云管平臺，同步物理節點GPU信息到云管平臺。

2.云管界面，選擇物理節點、物理GPU來創建vGPU規格。

3.新建vGPU規格完成后，可以在云主機頁面創建云主機，支持2種場景：創建云主機時同時選擇vGPU規格或者vGPU設備；或者創建云主機完成后，再綁定vGPU設備。創建帶vGPU的云主機或者云主機綁定vGPU后，可以在物理節點上看到vGPU設備保存在sysfs中，云主機XML文件會生成一個設備和這個關聯：

云主機XML：

云主機啟動之后，用戶需要在云主機內安裝從官方網站下載的軟件包里的驅動，并配置連接License server。當然也可以自定義鏡像模板，預安裝好云主機vGPU驅動以及配置好License server連接。至此，用戶可以在云主機里運行自己的應用了。

fqj