很多使用 NVIDIA GPU 的開發者、科研人員或者圖形工作者都會遇到這樣的情況：

每次運行nvidia-smi，等待時間都比正常設備慢幾秒；

PyTorch、TensorFlow 的第一行代碼執行慢，GPU 初始化明顯滯后；

小腳本測試、命令行推理等場景中，每次調用都像“冷啟動”。

難道是驅動老舊？資源不足？系統問題？都不是——真相藏在一個容易被忽略的小設置里：Persistence Mode（持久模式）。

Persistence Mode（持久模式）：

GPU 驅動遲緩的幕后“真兇”

NVIDIA 為了降低系統資源占用，在 Linux 系統中默認開啟了一項節能機制——GPU Idle Unloading（空閑卸載）。

這意味著：

如果當前沒有活躍的程序（如圖形界面 X11、CUDA 應用、ML 框架等）調用 GPU，驅動就會主動退出內存。

當你再次發起調用（哪怕只是一條命令），系統需要重新加載驅動、初始化設備、建立通信棧——這個過程在老舊平臺上甚至要數秒。

而 Persistence Mode 就是這個行為的“開關”。開啟后，GPU 驅動常駐內存，即使系統暫時未使用顯卡，也不會釋放資源，從而避免每次調用都要“重新開機”。

官方定義如下：

Persistence Mode: A flag that indicates whether persistence mode is enabled for the GPU. Value is either "Enabled" or "Disabled". When enabled, the NVIDIA driver remains loaded even when no active clients exist.

為什么 Persistence Mode

對科研和 AI 場景尤其重要？

在 AI 相關工作流中，下述 GPU 的調用特性依賴 Persistence Mode：

2025 麗臺（上海）信息科技有限公司

本圖表由麗臺科技制作，如果您有任何疑問或需要使用，

請聯系麗臺科技

舉例：一個常用模型在 PyTorch 中冷啟動約需 25 秒，熱啟動只需 20.5 秒，累計數十次，每天浪費時間可達數分鐘。

開啟 Persistence Mode 后則可實現：

nvidia-smi 秒開無延遲；

PyTorch、TensorFlow 初次調用時間大幅縮短；

多個 CUDA 腳本反復測試也無需重新初始化 GPU；

整體工作流更流暢，節省大量等待時間。

在 Linux 系統開啟 Persistence Mode

執行下面的命令即可開啟臨時 Persistence Mode：

sudonvidia-smi -pm1

每次開機都得手動輸入？開機自動開啟才是正解。在 Linux 系統中采用.run包方式安裝 NVIDIA GPU 驅動，可通過以下方式啟用 Persistence Mode：

cd/usr/share/doC/NVIDIA GLX-1.0/samples
sudo tar jxvf nvidia-persistenced-init.tar.bz2
cd./nvidia-persistenced-init
sudo ./install.sh
systemctl status nvidia-persistenced.service

執行完成后，以后每次啟動系統，NVIDIA GPU 持久模式會自動啟用，無需再次配置。

性能進階之選：

LEADTEK WS3008 AI 一體機

現代 AI 開發中，“響應時間”就是效率，“系統阻力”就是成本。通過開啟 Persistence Mode，便能將 GPU 從“冷啟動拖延”中解放出來，讓每一次調用都即時響應，為你的工作流加速。

如果你渴望的不僅是優化，而是全面性能飛躍，不妨考慮LEADTEK WS3008 AI 一體機，讓它成為算力系統的高效大腦。

▲ LEADTEK WS3008 AI 一體機參數

麗臺科技為工作站/服務器預裝LeadOS 操作系統（定制版 Ubuntu Linux），為運行 AI 和分析工作負載提供一站式解決方案。LeadOS 包含系統專屬優化和配置、附加驅動程序。它是一款穩定、經過全面測試且受支持的操作系統，可在麗臺工作站/服務器上運行 AI、機器學習和分析應用程序。

LeadOS 系統特性

基于 Ubuntu 22.04，配備最新的長期 Linux 內核版本 5.15，用于最新的硬件和安全更新以及軟件包更新，例如 Python 和 GCC。

包含針對 NVIDIA 優化的 Linux 內核，無需額外補丁即可支持 GPU 直接存儲（GDS）。

提供對所有 NVIDIA GPU 驅動程序分支和 CUDA 工具包版本的訪問。

默認使用 Ubuntu OFED，并可選擇安裝 NVIDIA OFED 以獲得附加功能。

支持安全啟動。

適配多種 NVIDIA GPU 型號。

從 Ubuntu Universe 存儲庫提供 Ubuntu Pro Client 的擴展安全維護（ESM）訂閱。