AI 計算資源的需求正不斷增長。從概念驗證到企業部署需要針對生成性 AI 工作負載進行優化的強大計算基礎設施。同時，AI 開發項目需要更多的計算資源來支持不斷增長的 AI 工程師和研究人員創建模型和應用程序。數據中心和云服務提供商 (CSP) 對 AI 加速硬件的需求超過供應。當前的桌面計算資源可能不適合 AI 增強型工作流程，因此出現硬件短缺的問題。

挑戰

在快速發展的生成式 AI 領域，企業正尋求利用這項尖端技術來獲得競爭優勢并加速創新。然而，生成式 AI 帶來了一些挑戰，可能會阻礙其有效部署和利用：

快速原型設計：開發人工智能應用程序需要快速原型設計和迭代，但缺乏工具、預建資源和計算能力會拖慢這一進程。

部署復雜性：在不同基礎設施上部署 AI 模型既耗時又容易出錯。

數據隱私和安全：對專有數據進行微調模型通常需要將敏感信息發送到外部服務器，這帶來了重大風險。

性能優化：實現低延遲和高吞吐量對于實時應用至關重要，但如果沒有專門的硬件和軟件，則很難實現。

可擴展性：有效擴展數據處理和機器學習任務需要強大而有力的計算資源。

NVIDIA NIM和NVIDIA RTX驅動的 AI 工作站通過提供優化、安全且可擴展的 AI 開發解決方案，以及滿足企業特定需求所需的驚人計算能力來解決這些挑戰，促進生成式 AI 的有效部署和利用。

NVIDIA NIM 在搭載 RTX 技術的

AI 工作站上的應用

NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，是一套易于使用的預構建容器工具，目的是幫助企業客戶加速在云、數據中心和工作站中部署生成式 AI 模型。通過 NIM 可以部署廣泛的 AI 模型 - 包括開源社區模型，NVIDIA AI Foundation 模型，和自定義模型。

RTX 驅動的 AI 工作站上的 NVIDIA NIM 微服務為開發人員集成生成式 AI 功能提供了強大而高效的解決方案。NIM 提供具有行業標準 API 的預構建容器，簡化了 AI 模型部署，并允許開發人員專注于應用程序開發而不是基礎設施管理。在 AI 工作站上本地運行 NIM 可讓開發人員控制其數據，確保隱私和安全，同時避免與云托管 API 相關的延遲、成本和合規性問題。

NVIDIA RTX 驅動的 AI 工作站可在云端、數據中心和桌面上使用，配備最新的NVIDIA GPU (用于實體工作站的 NVIDIA RTX 5880 Ada 架構 GPU 和用于 RTX 虛擬工作站的 NVIDIA 數據中心 GPU)，可為計算密集型 AI 工作負載提供支持。每個工作站最多配備四個 NVIDIA RTX 5880 Ada 架構 GPU，AI 工作站可提供令人驚嘆的 4.4 petaFLOPS 綜合 AI 計算性能和 192GB 系統 GPU 總顯存，以促進快速原型設計和測試。這些工作站加快了開發周期并能夠無縫擴展到生產環境。AI 工作站上的 NIM 支持各個領域的各種模型?包括最新的大語言模型 (LLM)，如 Qwen 和 YiLarge，使開發人員能夠輕松創建復雜的 AI 驅動的應用程序，并能夠隨時使用最先進的功能。

快速創建支持 RAG 的應用程序

RTX 驅動的 AI 工作站上的 NIM 微服務為創建本地 RAG 應用程序提供了強大的解決方案，確保對數據和模型的完全控制，尤其是對于數據安全和隱私至關重要的行業。開發人員可以快速制作 RAG 應用程序的原型、部署和迭代，在安全的本地環境中開發創新。

此外，運行 NIM 微服務的多 GPU 工作站可以作為小型團隊的集中式 RAG 應用程序中心，提供企業級生成式 AI 功能，而無需依賴云資源。這些基于工作站的 RAG 應用程序可以處理多模態輸入，包括文本、語音和圖像，同時得益于 NVIDIA 的優化推理引擎，實現高性能、低延遲響應。

利用 NVIDIA NIM 隨時隨地

構建生成式 AI 應用程序

NVIDIA 開發者計劃會員現可免費使用 NVIDIA NIM 預構建容器工具。

注冊開發者計劃 (NVIDIA Developer Program)，可免費訪問并下載 NIM，用于在一定數量 GPU 上進行研究，開發和測試（詳情參照申請頁）。當準備投入生產時，開發人員可以獲得 NVIDIA AI Enterprise，它提供企業級安全性、支持和 API 穩定性。

NVIDIA NIM 可以幫助開發人員實現：

通過針對低延遲、高吞吐量 AI 推理優化的加速推理引擎獲得卓越性能。

在任何地方的 NVIDIA GPU 上運行 AI 模型并保持對 AI 應用程序和數據的控制。

使用行業標準 API 和流行的應用程序開發工具、框架簡化 AI 應用程序開發。

通過無縫部署 NIM 來針對特定用例定制模型，以便根據數據對模型進行微調。

使用詳細的可觀察性指標和 Helm 圖表在 Kubernetes 上擴展 NIM，最大限度地提高操作性和規模。

了解如何優化生成 AI 應用程序的開發以部署在任何 NVIDIA 加速基礎設施上，同時仍然保持對 IP 和 AI 應用程序的完全控制。