RAPIDS 是一套面向 Python 數據科學的 NVIDIA CUDA-X 庫,最新發布的 25.06 版本引入了多項亮眼新功能,其中包括 Polars GPU 流執行引擎——這是一種面向圖神經網絡(GNN)的統一 API,以及無需更改代碼即可實現的支持向量機加速功能。在本篇博客中,我們將介紹其中的幾項重要更新。
Polars GPU 引擎更新
2024 年 9 月,NVIDIA 與 Polars 團隊合作推出了基于 NVIDIA cuDF 開發的 Polars GPU 引擎。此次發布的 25.06 版對 Polars GPU 引擎的功能進行了重大更新。
流執行器現已進入實驗階段
25.06 版在 Polars GPU 引擎中引入了流執行功能。流執行器利用數據分區和并行處理技術,能夠處理超出顯存容量的數據集。要使用這個新的流執行器,用戶可以將恰當配置的 GPUEngine 對象傳遞給 Polars 的 collect 調用。
這種新的流模式還能讓用戶將數據處理工作流擴展到多個 GPU,有助于加速分析數百 GB 到 TB 級的數據集。對于需要在分區之間移動數據的操作(例如連接和分組),新引入的數據混洗(shuffle)機制可在設備之間重新分配數據。多 GPU 執行通過 Dask 分布式調度器進行編排,使用前需要先設置一個 Dask 客戶端。
流執行器目前仍在積極開發中,尚未支持的操作將自動回退到內存執行器。
支持滾動聚合及更多列操作
最新版本還包含了對 Polars GPU 引擎中一些關鍵新 DataFrame 功能的支持。首先,我們在 Polars 中添加了對 .rolling() 操作的支持,允許用戶基于一些 DataFrame 中的其他列創建滾動組。這在處理時間序列數據集時尤為實用。
此外 GPU 引擎現在支持更豐富的日期時間列表達式,目前已支持的新方法包括 .strftime() 和 .cast_time_unit()。隨著我們繼續擴展整體 API 覆蓋范圍,未來版本還將支持更多方法。
統一的 GNN API
NVIDIA cuGraph-PyG 進一步集成了 WholeGraph 以加速特征提取,形成了我們所說的統一 API。這個新 API 現在允許用戶在單 GPU 工作流中使用 WholeGraph 的加速特征存儲,同時無需修改腳本即可用于多 GPU 或多節點工作流。
借助統一 API,在單 GPU 上進行原型開發時使用相同的 GNN 訓練腳本就能在具有多個 GPU 的單節點以及多節點上運行。通過 PyTorch 的 torchrun 命令管理進程設置,使得大多數 PyTorch 用戶都可以熟練地使用統一 API。
無需更改代碼的 cuML 增強功能
今年 3 月,NVIDIA 推出了由 cuML 驅動、用于 scikit-learn 的無需更改代碼的加速器,該加速器已進入公測階段。在 25.06 版本中,cuML 為用戶帶來了更多無需更改代碼的功能。
無需更改代碼的支持向量機
NVIDIA cuML 擴展了其無需更改代碼的加速功能,新增了對支持向量機的支持。支持向量分類(SVC)和支持向量回歸(SVR)這兩種強大的算法在 GPU 上執行時,能很好地處理高維數據并顯著地提升速度。通過在 cuML 的零代碼變更接口中添加這些估計器,利用支持向量機的現有 scikit-learn 工作流無需修改即可加速。cuML 和 scikit-learn 在 SVC 和 SVR 的實現上存在一些關鍵差異,還請用戶加以了解。
改進的 scikit-learn 兼容性
25.06 版本對 cuML 加速 scikit-learn 估計器的方式進行了重大重構,增強了 scikit-learn 一致性,還改進了參數驗證和異常處理。此外,通過這次重新設計,cuML 也增強了與 scikit-learn API 的兼容性,可以更輕松地加速目前與 scikit-learn 集成的第三方庫。
隨機森林與更新后的森林推理庫(FIL)集成
通過集成更快、更強大的森林推理庫(FIL),cuML 的隨機森林估計器得到了升級,在保持向后兼容性的同時,提供了更高的性能和更好的內存管理。
需注意,舊版特有的一些 API 調節參數(knobs)現已棄用,并將在即將發布的 25.08 版本中移除。
RAPIDS 內存管理器與NVIDIABlackwell 解壓縮引擎的兼容性
RAPIDS 內存管理器(RMM)庫增加了全新功能,確保用戶能夠使用最新的 NVIDIA 硬件功能。在最新版本中,RMM 異步內存資源可支持兼容 NVIDIA Blackwell GPU 上基于硬件的解壓縮引擎,讓 IO 密集型工作流中的性能得到提升。
此外,RMM 現在以一個預編譯共享庫的形式存在,取代了之前的僅包含頭文件的庫。我們相信這一變化將為未來解鎖新功能奠定基礎。
平臺更新:Python 和NVIDIA CUDA 支持
25.06 版本為所有 RAPIDS 庫添加了對 Python 3.13 的支持,同時也是最后一個支持 CUDA 11 的版本。從 25.08 版開始,RAPIDS 將不再支持 CUDA 11。如需繼續使用 CUDA 11,可以固定使用 25.06 版本。
結語
RAPIDS 25.06 版為新的機器學習算法帶來了零代碼變更功能、新的 Polars GPU 流引擎、異步內存資源的硬件解壓縮功能等多項功能。
-
NVIDIA
+關注
關注
14文章
5592瀏覽量
109713 -
gpu
+關注
關注
28文章
5194瀏覽量
135425 -
引擎
+關注
關注
1文章
368瀏覽量
23451
原文標題:RAPIDS 新增 GPU Polars 流執行等多項新功能
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
索尼更新相機遙控軟件開發包2.01版本
西門子PCB DFM分析工具Valor NPI 2510版本的新增功能
睿擎平臺v1.7.2版本正式發布|技術集結
NVIDIA CUDA 13.1版本的新增功能與改進
AMD Vivado Design Suite 2025.2版本現已發布
連接標準聯盟正式推出Matter 1.5版本
開鴻Bot系列大版本更新:體驗穩定升級,樂享高效協同!
匠芯創發布新版GUI開發工具 新增多國語言設置等功能
NVIDIA DOCA 3.0版本的亮點解析
CANoe產品體系19版本新特性及新增Option(上)
NVIDIA在ICRA 2025展示多項最新研究成果
NVIDIA虛擬GPU 18.0版本的亮點
Altium Designer 25.4.2版本的新功能
NVIDIA RAPIDS 25.06版本新增多項功能
評論