介紹

NVDashboard 是一個開源軟件包，用于在交互式Jupyter 實驗室環境中實時可視化 NVIDIA GPU 指標。 NVDashboard 是所有 GPU 用戶監視系統資源的好方法。然而，它對于RAPIDS， NVIDIA的GPU開源套件加速數據科學軟件庫的用戶尤其有價值。

考慮到現代數據科學算法的計算強度，在許多情況下 GPU 可以提供改變游戲規則的工作流加速。為了獲得最佳性能，底層軟件有效地使用系統資源是絕對關鍵的。盡管加速庫（如 cuDNN 和 RAPIDS ）是專門設計用于執行性能優化方面的繁重任務的，但對于開發人員和最終用戶來說，驗證他們的軟件是否真正按照預期利用了 GPU 資源是非常有用的。雖然這可以通過 NVIDIA -smi 等命令行工具實現，但許多專業數據科學家更喜歡使用交互式 Jupyter 筆記本進行日常模型和工作流開發。

圖 1 ： NVDashboard Jupyter 實驗室擴展正在運行。 GPU 儀表板顯示在屏幕右側，而兩個dask-labextension儀表板顯示在左下角。

如圖 1所示， NVDashboard 使 Jupyter 筆記本用戶能夠在用于開發的相同交互環境中可視化系統硬件指標。支持的指標包括：

GPU – 計算利用率

GPU – 內存消耗

PCIe 吞吐量

NVLink 吞吐量

該軟件包構建在基于 Python 的儀表板服務器上，該服務器支持 Bokeh 可視化庫在實時［1］中顯示和更新圖形。另外一個 Jupyter Lab 擴展將這些儀表板作為可移動窗口嵌入到交互式環境中。大多數 GPU 指標都是通過 PyNVML 收集的， PyNVML 是一個開源的 Python 包，它構成了 NVIDIA 管理庫（ NVML ）的包裝。因此，可以修改/擴展可用的儀表板，以顯示可通過 NVML 訪問的任何可查詢 GPU 指標。

使用 NVDashboard

nvdashboard 軟件包在PyPI上提供，由兩個基本組件組成：

博克服務器：服務器組件利用出色的 Bokeh 可視化庫實時顯示和更新 GPU -診斷儀表板。所需的硬件指標可通過PyNVML訪問，該PyNVML是一個開源的 Python 包，由 NVIDIA 管理庫（NVML）的包裝組成。因此，可以修改/擴展NVDashboard以顯示任何可查詢的 GPU 指標，這些指標可以通過NVML輕松地從 Python 訪問。

Jupyter 實驗室擴建： Jupyter 實驗室擴展將 GPU 診斷儀表板嵌入為交互式Jupyter-Lab環境中的可移動窗口。

$ pip install jupyterlab-nvdashboard

# If you are using Jupyter Lab 2 you will also need to run
$ jupyter labextension install jupyterlab-nvdashboard

必須澄清的是， NVDashboard 自動監控整個機器的 GPU 資源，而不僅僅是本地 Jupyter 環境使用的資源。朱皮特實驗室eExtension 當然可以用于非 i Python /筆記本開發。例如，在圖 3中，“ NVLink 時間線”和“ GPU 利用率”儀表板在 Jupyter 實驗室環境中用于監控從命令行執行的多 GPU 深度學習工作流。

圖 3 ： Jupyter 實驗室使用的“ NVLink Timeline ”儀表板。

博克服務器

雖然 Jupyter 實驗室擴展肯定是基于 i Python /筆記本電腦開發的愛好者的理想選擇，但其他 GPU 用戶也可以使用 sandalone Bokeh 服務器訪問儀表板。這是通過運行來完成的。

$ Python -m jupyterlab nvdashboard 。 server 《端口號》

啟動 Bokeh 服務器后，可通過在標準 web 瀏覽器中打開相應的 url （例如 http ：//《 ip 地址》：《 port number 》）來訪問 GPU 儀表板。如圖 4所示，主菜單列出了 NVDashboard 中可用的所有儀表板。

圖 4 ： NVDashboard 的 Bokeh 服務器組件的主菜單。

例如，選擇“ GPU -Resources ”鏈接將打開圖 5中所示的儀表板，該儀表板使用對齊的時間線圖總結各種 GPU 資源的利用率。

圖 5 ： Jupyter 實驗室外部使用的“ GPU 資源”儀表板。

要以這種方式使用 NVDashboard ，只需要 pip 安裝步驟（可以跳過實驗室擴展安裝步驟）：

$ pip 安裝 jupyterlab nvdashboard

或者，您也可以克隆jupyterlab-nvdashboard存儲庫，只需執行server.py腳本（例如python jupyterlab_nvdashboard/server.py 《port-number》）。

實施細節

現有的 nvdashboard 包提供了許多有用的 GPU – 資源儀表板。但是，修改現有儀表板和/或創建全新的儀表板非常簡單。為了做到這一點，您只需要利用 PyNVML 和 Bokeh 。

PyNVML dasic

PyNVML 是 NVIDIA 管理庫（ NVML ）的 Python 包裝器，它是一個基于 C 的 API ，用于監視和管理 NVIDIA GPU 設備的各種狀態。 NVML 直接由更知名的 NVIDIA 系統管理接口（ NVIDIA -smi ）使用。根據 NVIDIA 開發者網站， NVML 提供對以下可查詢狀態的訪問（除了此處未討論的可修改狀態外）：

ECC 錯誤計數：報告可糾正的單位錯誤和可檢測的雙位錯誤。為當前引導周期和 GPU 的生命周期提供錯誤計數。

GPU 利用率：報告 GPU 和內存接口的計算資源的當前利用率。

主動計算過程：報告在 GPU 上運行的活動進程列表，以及相應的進程名稱/ id 和分配的 GPU 內存。

時鐘和 PState：報告了幾個重要時鐘域的最大和當前時鐘速率，以及當前 GPU 性能狀態。

溫度和風扇轉速：報告當前堆芯 GPU 溫度以及非無源產品的風扇轉速。

電源管理：對于支持的產品，會報告當前板功率消耗和功率限制。

Identification：報告各種動態和靜態信息，包括板序列號、 PCI 設備 ID 、 VBIOS / Inforom 版本號和產品名稱。

盡管目前存在幾種不同的 NVML Python 包裝器，但我們在 GitHub 上使用 GoAi 托管的PyNVML包。這個版本的 PyNVML 使用 ctypes 包裝大多數 nvmlcapi 。 NVDashboard 僅利用查詢實時 GPU 資源利用率所需的一小部分 API ，包括：

nvmlInit（）：初始化 NVML 。初始化成功后，緩存 GPU 句柄，以降低儀表板中活動監視期間的數據查詢延遲。

nvmlShutdown（）： Finalize NVML

nvmlDeviceGetCount （）：獲取可用 GPU 設備的數量

nvmlDeviceGetHandleByIndex（）：獲取設備的句柄（給定整數索引）

nvmlDeviceGetMemoryInfo（）：獲取內存信息對象（給定設備句柄）

nvmlDeviceGetUtilizationRates（）：獲取利用率對象（給定設備句柄）

nvmlDeviceGetPcieThroughput（）：獲取 PCIe 吞吐量對象（給定設備句柄）

nvmlDeviceGetNvLinkUtilizationCounter（）：獲取 NVLink 利用率計數器（給定設備句柄和鏈接索引）

在 PyNVML 的當前版本中， Python 函數名的選擇通常與 C API 完全匹配。例如，要查詢每個可用設備上的當前 GPU – 利用率，代碼如下所示：

可用設備上的當前 GPU – 利用率，代碼如下所示：

In [1]: from pynvml import *
In [2]: nvmlInit()
In [3]: ngpus = nvmlDeviceGetCount()
In [4]: for i in range(ngpus):
…: handle = nvmlDeviceGetHandleByIndex(i)
…: gpu_util = nvmlDeviceGetUtilizationRates(handle).gpu
…: print(‘GPU %d Utilization = %d%%’ % (i, gpu_util))
…:
GPU 0 Utilization = 43%
GPU 1 Utilization = 0%
GPU 2 Utilization = 15%
GPU 3 Utilization = 0%
GPU 4 Utilization = 36%
GPU 5 Utilization = 0%
GPU 6 Utilization = 0%
GPU 7 Utilization = 11%

注意，除了 GitHub 存儲庫之外， PyNVML 還托管在PyPI和鍛造伯爵上。

儀表板代碼

要修改/添加 GPU 儀表板，只需使用兩個文件（jupyterlab_bokeh_server/server.py和jupyterlab_nvdashboard/apps/gpu.py）。添加/修改儀表板所需的大多數 PyNVML 和 bokeh 代碼都將在gpu.py中。只有在添加或更改菜單/顯示名稱的情況下，才需要修改server.py。在這種情況下，必須在 routes dictionary 中指定新的/修改的名稱（鍵為所需的名稱，值為相應的儀表板定義）：

routes = {
   "/GPU-Utilization": apps.gpu.gpu,
   "/GPU-Memory": apps.gpu.gpu_mem,
   "/GPU-Resources": apps.gpu.gpu_resource_timeline,
   "/PCIe-Throughput": apps.gpu.pci,
   "/NVLink-Throughput": apps.gpu.nvlink,
   "/NVLink-Timeline": apps.gpu.nvlink_timeline,
   "/Machine-Resources": apps.cpu.resource_timeline,
}

為了讓服務器不斷刷新 bokeh 應用程序使用的 PyNVML 數據，我們使用 bokeh 的 ColumnDataSource 類在每個圖中定義數據的source。 ColumnDataSource 類允許為每種類型的數據傳遞更新函數，可以在每個應用程序的專用回調函數（ cb ）中調用更新函數。例如，現有 GPU 應用程序的定義如下：

def gpu（doc）：

fig = figure（title=“GPU Utilization”， sizing_mode=“stretch_both”， x_range=［0， 100］）

def get_utilization（）：

return ［

pynvml.nvmlDeviceGetUtilizationRates（gpu_handles［i］）.gpu

for i in range（ngpus）

］

gpu = get_utilization（）

y = list（range（len（gpu）））

source = ColumnDataSource（{“right”： y， “gpu”： gpu}）

mapper = LinearColorMapper（palette=all_palettes［“RdYlBu”］［4］， low=0， high=100）

fig.hbar（

source=source，

y=“right”，

right=“gpu”，

height=0.8，

color={“field”： “gpu”， “transform”： mapper}，

）

fig.toolbar_location = None

doc.title = “GPU Utilization ［%］”

doc.add_root（fig）

def cb（）：

source.data.update（{“gpu”： get_utilization（）}）

doc.add_periodic_callback（cb， 200）

請注意， PyNVML GPU 利用率數據的實時更新是在source.data.update（）調用中執行的。有了必要的ColumnDataSource邏輯，可以通過多種方式修改標準 GPU 定義（如上）。例如，交換 x 軸和 y 軸，指定不同的調色板，甚至將圖形從 hbar 完全更改為其他圖形。

關于作者

Jacob Tomlinson 是 NVIDIA 的高級 Python 軟件工程師，專注于分布式系統的部署工具。他的工作包括維護開源項目，包括 RAPIDS 和 Dask 。 RAPIDS 是一套 GPU 加速開源 Python 工具，模擬 PyData 堆棧中的 API ，包括 NumPy 、 pandas 和 SciKit Learn 的 API 。 Dask 為分析提供了高級并行性，包括核心外計算、延遲計算和 PyData 堆棧的分布式執行。

Ken Hester 是 NVIDIA 的解決方案架構師和經理，在 HPC 、 AI 深度學習和機器學習以及 CUDA GPU 計算領域為能源行業提供支持。他來自德克薩斯州休斯頓，在 NVIDIA 工作了近 8 年。在 NVIDIA 之前， Ken 在能源行業工作了 15 年以上，是數據科學、軟件架構、軟件設計和開發領域的行業專家。

Rick Zamora 是 NVIDIA 在 RAPIDS 和 Dask 工作的高級軟件工程師。他有科學計算研究和并行軟件開發的背景。

審核編輯：郭婷