ABSTRACT摘要

本文主要介紹英偉達H100常見的故障類型和問題。

國家政府報告提出要持續推進“人工智能+”行動，大力發展人工智能行業，市場上對算力的需求持續上漲，英偉達H100 GPU憑借其強大的算力，成為AI訓練、高性能計算領域的核心硬件。然而，隨著使用場景的復雜化，H100服務器故障率也逐漸攀升，輕則影響業務進度，重則造成巨額損失。

今天，我們就來聊聊H100的常見故障類型問題。

一、HBM3 高帶寬內存故障

H100在高負載、大規模集群運行環境下容易出現HBM3 高帶寬內存故障問題，具體表現在以下幾個方面：

1.性能下降方面

計算任務時長增加：在運行復雜的深度學習模型訓練、高性能計算（如科學計算、數據分析等）任務時，計算速度會明顯變慢。比如原本預計數小時完成的模型訓練任務，可能拖延至數倍時長仍無法完成。這是因為 HBM3 內存負責高速存儲和讀取大量數據，故障會阻礙數據的順暢傳遞，導致 GPU 計算單元等待數據時間增多，整體計算效率大幅降低。

多任務并行能力受限：H100 本擅長并行處理多任務，內存故障時，同時運行多個計算任務會出現頻繁卡頓，甚至部分任務無法正常啟動或中途報錯終止。這源于內存無法穩定、快速地為各任務分配和交換所需數據，影響了 GPU 對多任務的協調處理。

系統與軟件層面

系統報錯頻繁：服務器在啟動、運行過程中會頻繁報錯，錯誤信息多與內存相關，如 “HBM3 memory failure”“memory access error” 等。操作系統日志中也會充斥大量內存校驗失敗、數據不一致的記錄，這反映出內存讀寫異常，數據完整性受損。

軟件崩潰：依賴 GPU 加速的軟件（如深度學習框架 TensorFlow、PyTorch 等）容易出現崩潰、閃退現象，尤其是在處理大規模數據集或復雜網絡架構時。故障內存提供的錯誤數據會引發軟件內部邏輯錯誤，進而導致程序無法正常執行。

任務結果錯誤：完成的計算任務結果出現明顯偏差，如深度學習模型預測準確率大幅下降、科學計算得到錯誤的數值結果等。這是因為內存故障致使部分數據讀取錯誤或寫入失敗，最終影響計算輸出。

硬件診斷工具報警：使用英偉達提供的硬件診斷工具（如 NVIDIA DCGM - Data Center GPU Manager）檢測時，會明確提示 HBM3 內存存在故障，包括內存帶寬利用率異常、錯誤計數增加等警告信息，提醒管理員進行硬件排查與維修。

二、NVLink 連接問題H100依賴NVLink 4.0進行GPU間高速通信，在高負載、大規模集群運行環境下，NVLink接口或橋接器可能出連接不穩定或信號錯誤。具體表現在：

1.軟件工具檢測結果異常

通過 【nvidia-smi topo -m】命令查看 GPU 拓撲結構時，會發現 GPU 之間沒有 NVLink 連接顯示為 “NODE”，正常連接下應顯示為 “NV1” 或 “NV2” 等。使用 【nvidia-smi nvlink --status】命令檢查 NVLink 連接狀態，若連接有問題，會顯示鏈接處于非活動狀態或出現錯誤，如 “Link X: Y GB/s - Inactive”。

2.系統日志報錯信息

系統日志中可能記錄有 NVLink 相關的錯誤信息。例如，出現 “DOE（Data Object Exchange）timeout errors”，即數據對象交換超時錯誤，像 “pci 000000.0: DOE: [2c8] ABORT timed out” 這樣的報錯信息。還可能有類似 “received NVLink inband message arrived on an NVLink port NodeId X NVSwitch Y port Z which is not part of any active partition” 的錯誤提示。

3.性能表現不佳

數據傳輸速度明顯下降，在多 GPU 協作任務中，如深度學習模型訓練、大規模數據分析等，數據傳輸速率低于預期，影響整體計算效率。多 GPU 應用程序頻繁報錯，由于 NVLink 連接不穩定，導致數據傳輸中斷或出現錯誤，使得依賴 GPU 協作的應用程序無法正常運行，出現報錯、閃退等現象。

4.其他異常情況

多 GPU 并行計算任務中，可能出現任務啟動失敗、執行過程中斷或計算結果錯誤的情況，這是因為 NVLink 連接出現問題后，GPU 之間無法正常通信和協作，導致任務無法順利進行。同時，使用 nvidia-smi 命令查看 GPU 狀態時，可能沒有 MIG 實例或活躍的 NVLink 顯示。

三、GPU核心過熱或電源問題

（一）GPU 核心過熱表現

1.散熱與冷卻系統方面

風扇異常 ：機箱內 GPU 風扇轉速明顯加快，機箱風扇也快速轉動，但溫度依舊持續升高，甚至可能出現風扇故障報警，如通過 BMC 儀表盤查看到風扇轉速異常。

散熱器溫度高 ：用手觸摸 GPU 散熱器或其附近的金屬部件，會感覺異常燙手。

機箱內溫度上升 ：機箱內的整體溫度明顯高于正常水平，可能導致其他硬件設備也出現過熱現象。

2.性能與任務執行方面

計算性能下降 ：GPU 計算速度減慢，執行深度學習模型訓練、科學計算等任務時，速度明顯低于正常狀態，任務完成時間大幅延長。

任務中斷或失敗 ：在運行高負載任務時，可能會出現 GPU 熱保護機制觸發，導致任務中斷、報錯甚至整個系統崩潰，如在運行 CUDA 程序時提示 “CUDA error: device-side assertion failed” 等錯誤信息。

無法穩定運行 ：系統可能出現頻繁的自動重啟、死機等現象，尤其在長時間高負載運行后更為明顯。

3.系統監控與日志方面

溫度監控工具報警 ：通過 nvidia-smi 等工具查看 GPU 溫度時，會發現溫度持續超過正常范圍，如在正常負載下溫度超過 90°C（H100 的正常溫度范圍一般在 0°C 至 90°C 之間，但具體取決于具體應用場景和散熱條件）。

硬件錯誤日志 ：系統硬件錯誤日志中會出現與 GPU 過熱相關的警告或錯誤信息，如 “Hardware Error: Hardware error from APEI Generic Hardware Error Source” 等類似的報錯信息。

（二）電源問題表現

1.系統指示燈方面

電源指示燈異常 ：系統電源指示燈閃爍或不亮，或出現與正常狀態不同的顏色顯示，如從正常的綠色變為黃色或紅色。

其他指示燈異常 ：機箱上的硬盤指示燈、網絡指示燈等可能也會出現閃爍或異常狀態，表明系統電源供應不穩定。

2.系統運行方面

突然斷電或重啟 ：系統在正常運行過程中突然斷電或自動重啟，且無明顯規律，這可能是由于電源供應不穩定導致的。

性能下降 ：系統整體性能出現下降，如計算速度變慢、數據讀寫速度降低等，這可能是由于電源無法提供足夠的電力支持硬件設備的正常運行。

無法正常開機 ：按下電源按鈕后，系統無法正常啟動，或者啟動過程中出現卡頓、停止響應等情況。

3.系統監控與日志方面

電源監控工具報警 ：通過 nvsm 命令或 BMC 網頁用戶界面查看電源狀態時，會發現電源健康狀態顯示為非正常，如 “Status_Health=Warning” 或 “Status_Health=Critical”。

日志記錄電源錯誤 ：系統日志或電源監控日志中會出現與電源相關的錯誤信息，如 “ipmitool sdr | grep -i psu” 命令查看到的電源輸出讀數接近于零或無溫度讀數。

以上就是H100常見的故障問題。

如果您的H100出現了故障，推薦你來深圳這家GPU維修工作室。