摘要：?本文將介紹如何利用阿里云云監(jiān)控服務提供的自定義監(jiān)控實現(xiàn)GPU云服務器的GPU監(jiān)控和報警的可視化，從而達到對GPU使用情況實時掌握的目的。

1 背景

NVIDIA提供了nvidia-smi命令工具用于查詢和監(jiān)控GPU的相關數(shù)據(jù)，但是對于使用者來說，每次手動查看很不方便，無法做到實時監(jiān)控，而且也無法可視化，不直觀。

本文將會介紹如何利用阿里云云監(jiān)控服務提供的自定義監(jiān)控功能來實現(xiàn)GPU云服務器的GPU監(jiān)控和報警的可視化。

2 自定義監(jiān)控和報警
阿里云云監(jiān)控服務提供了自定義監(jiān)控功能，用戶可以利用它實現(xiàn)自定義的數(shù)據(jù)監(jiān)控和報警。

我們利用自定義監(jiān)控提供的API或者SDK，可以將GPU云主機內采集的GPU數(shù)據(jù)上報，在云監(jiān)控控制臺上添加相應的GPU監(jiān)控項，就可以實現(xiàn)對指定GPU實例內指定GPU的相應數(shù)據(jù)進行監(jiān)控，對相應監(jiān)控項設置相應數(shù)據(jù)的報警規(guī)則，就能實現(xiàn)監(jiān)控數(shù)據(jù)的自動報警。

比如可以對GPU利用率、顯存利用率、顯存占用、功率、溫度等關鍵信息進行監(jiān)控和報警。
詳見：創(chuàng)建自定義監(jiān)控項和報警規(guī)則

3 監(jiān)控數(shù)據(jù)上報
自定義監(jiān)控提供的SDK支持Python和bash，通過編寫腳本調用SDK的接口，可以實現(xiàn)相應監(jiān)控數(shù)據(jù)的上報。

通過定時調度腳本，按創(chuàng)建監(jiān)控項時定義的上報周期上報數(shù)據(jù)。Linux環(huán)境可以使用Crontab，Windows環(huán)境可以使用quartz.net。
詳見：監(jiān)控數(shù)據(jù)上報

4 GPU數(shù)據(jù)采集
NVDIA驅動安裝時提供了NVIDIA Management Library (NVML)，該庫提供了采集GPU數(shù)據(jù)的接口，并基于NVML提供了nvidia-smi命令用于采集GPU相關數(shù)據(jù)。NVML提供了Perl 和Python語言的官方支持，考慮到自定義監(jiān)控上報SDK支持Python，我們可以下載NVML的Python bindings，編寫Python腳本采集GPU數(shù)據(jù)。

NVML的Python bindings可以從以下鏈接下載：https://pypi.python.org/pypi/nvidia-ml-py/

5 示例
5.1 創(chuàng)建自定義監(jiān)控項
在云監(jiān)控控制臺創(chuàng)建自定義監(jiān)控項，如下圖：

5.2 查看監(jiān)控項數(shù)據(jù)
在云監(jiān)控控制臺查看監(jiān)控項，如下圖：
某實例GPU 0的GPU利用率（單位：Persent）:

某實例GPU 0的顯存利用率（單位：Persent）:

某實例GPU 0的內存占用量（單位：Megabytes）：

某實例GPU 1的功率（單位：Watt）：

某實例GPU 1 的溫度（單位：攝氏度）：

5.3 設置報警規(guī)則
在溫度監(jiān)控項上點擊報警管理：

設置溫度報警規(guī)則：

設置通知對象：

完成設置：

6 參考代碼
數(shù)據(jù)采集：

def?get_gpu_information():
????nvmlInit()

????deviceCount?=?nvmlDeviceGetCount()

????util_list?=?[]???
????for?i?in?range(0,?deviceCount):
????????handle?=?nvmlDeviceGetHandleByIndex(i)
????????util_list.append(nvmlDeviceGetUtilizationRates(handle))
??????
??
????nvmlShutdown()????return?deviceCount,?util_list

信息上報：

????for?i?in?range(0,?GPU_Count):
????????gpuid?=?i

????????cms_post.post(userid,"GPUUtilization",util_list[i].gpu,"Percent",s.format(ecsid=ecsid,?gpuid=gpuid))

原文鏈接

本文為云棲社區(qū)原創(chuàng)內容，未經允許不得轉載。