新服務通過熱門 AI 模型為數百萬開發者帶來高達 5 倍的 token 效率提升，使他們能夠立即訪問在 NVIDIA DGX Cloud 上運行的 NIM 微服務。

全球最大人工智能社區之一 Hugging Face 平臺上的 400 萬開發者在一些最熱門的 AI 模型上可輕松獲得 NVIDIA 加速推理。

借助新的推理即服務能力，開發者將能夠快速部署 Llama 3 系列和 Mistral AI 模型等領先的大語言模型，并使用運行在NVIDIA DGX Cloud上的NVIDIA NIM微服務進行優化。

這項服務在 SIGGRAPH 大會上發布，它將幫助開發者利用托管在 Hugging Face Hub 上的開源 AI 模型快速建立原型并將其部署在生產中。Enterprise Hub 用戶可以利用 NVIDIA NIM 進行無服務器推理，以提高靈活性，盡可能降低基礎設施用度并優化性能。

推理服務補充了在 DGX Cloud 端的訓練（Train on DGX Cloud），一種已在 Hugging Face 上提供的 AI 訓練服務。

由于開發者面對著越來越多的開源模型，可供其輕松比較各種選項的資源中心會非常有幫助。這些訓練和推理工具為 Hugging Face 開發者提供了在 NVIDIA 加速基礎設施上試驗、測試和部署先進模型的新方法。它們可以通過 Hugging Face 模型卡上的“訓練”和“部署”下拉菜單輕松訪問，用戶只需點擊幾下就能輕松使用這些功能。

不僅限于 Token 層面的提升

— NVIDIA NIM 帶來巨大優勢

NVIDIA NIM 是一系列 AI 微服務（包括 NVIDIA AI 基礎模型和開源社區模型）的集合，而且已使用行業標準應用編程接口（API）針對推理進行了優化。

NIM 為用戶帶來更高的 token 處理效率 — token 是語言模型使用和生成的數據單位。經優化的微服務還能改善底層 NVIDIA DGX Cloud 基礎架構的效率，從而提高關鍵 AI 應用的速度。

這意味著，與模型的其他版本相比，開發者可以通過訪問 NIM AI 模型，更快、更可靠地得到結果。例如，與 NVIDIA Tensor Core GPU 驅動系統上的現成部署相比，通過 NIM 訪問 Llama 3 的 700 億參數版本時，可實現最高達 5 倍的吞吐量提升。

近乎即時的 DGX Cloud

訪問讓 AI 加速觸手可及

NVIDIA DGX Cloud 平臺專為生成式 AI 打造，為開發者提供輕松訪問可靠加速計算基礎設施的途徑，幫助他們更快地將生產就緒型應用推向市場。

該平臺提供可擴展的 GPU 資源，可為從原型設計到生產的每一步 AI 開發提供支持，同時無需開發者做出長期的 AI 基礎設施承諾。

借助由 NIM 微服務提供支持、在 NVIDIA DGX Cloud 上運行的 Hugging Face 推理即服務，用戶可輕松訪問針對 AI 部署進行優化的計算資源，在企業級環境中實驗最新的 AI 模型。

詳細了解在 SIGGRAPH 大會上

發布的 NVIDIA NIM 相關信息

在 SIGGRAPH 大會上，NVIDIA 還推出了面向 OpenUSD 框架的生成式 AI 模型和 NIM 微服務，以加速開發者構建高精度虛擬世界的能力，推動 AI 再次演進。

體驗超過 100 種 NVIDIA NIM 微服務在各行各業的應用。