經過優化的 NIM 微服務現可在 Amazon Bedrock Marketplace、SageMaker JumpStart 和 AWS Marketplace 上獲取，用于各種 NVIDIA 和生態系統模型。

生成式 AI 正在迅速改變各行各業，同時推動了對安全、高性能推理解決方案的需求，以便高效且經濟地擴展日益復雜的模型。

在本屆亞馬遜云科技 re:Invent 大會上，亞馬遜云科技(AWS)宣布其正在擴大與 NVIDIA 的合作范圍，現已將 NVIDIA NIM 微服務擴展到各項關鍵的亞馬遜云科技 AI 服務中，從而幫助生成式 AI 應用提高 AI 推理速度并降低延遲。

NVIDIA NIM微服務現在可直接通過 AWS Marketplace、Amazon Bedrock Marketplace 以及 Amazon SageMaker JumpStart 獲取，讓開發者能夠更加輕松地為常用模型大規模部署經過 NVIDIA 優化的推理。

NVIDIA NIM 是NVIDIA AI Enterprise軟件平臺的一部分，可在 AWS Marketplace 獲取。它為開發者提供的一套易于使用的微服務，專為在各種云、數據中心和工作站安全、可靠地部署高性能、企業級 AI 模型推理而設計。

這些預構建的容器基于強大的推理引擎(例如NVIDIA Triton 推理服務器、NVIDIA TensorRT、NVIDIA TensorRT-LLM和 PyTorch)構建而成，支持從開源社區模型到NVIDIA AI Foundation模型與定制模型等各種 AI 模型。

NIM 微服務可部署到各種亞馬遜云科技服務中，包括 Amazon Elastic Compute Cloud(EC2)、Amazon Elastic Kubernetes Service(EKS)和 Amazon SageMaker。

開發者可以在 NVIDIA API 目錄中預覽常用模型和系列模型構建的 100 多項 NIM 微服務，包括 Meta 的 Llama 3、Mistral AI 的 Mistral 和 Mixtral、NVIDIA Nemotron、Stability AI 的 SDXL 等等。其中最常用的微服務可以自托管的形式部署于亞馬遜云科技服務中，并且針對在亞馬遜云科技中的 NVIDIA 加速計算實例運行進行了優化。

目前可直接從亞馬遜云科技獲取的 NIM 微服務包括：

NVIDIA Nemotron-4：可在 Amazon Bedrock Marketplace、Amazon SageMaker Jumpstart 和 AWS Marketplace 中獲取。這是一款先進的 LLM ，其專為生成與現實世界數據高度相似的各種合成數據而設計，從而提高各領域定制 LLM 的性能和穩健性。

Llama 3.1 8B-Instruct：可在 AWS Marketplace 中獲取。這個 80 億參數的多語種大語言模型經過預訓練和指令調整，適用于語言理解、推理和文本生成用例。

Llama 3.1 70B-Instruct：可在 AWS Marketplace 中獲取。這個經過指令調整的 700 億參數預訓練模型針對多語種對話進行了優化。

Mixtral 8x7B Instruct v0.1：可在 AWS Marketplace 中獲取。這個具有開放權重的高質量稀疏混合專家模型可以遵循指令、完成請求并生成創意文本格式。

亞馬遜云科技上的 NIM 適用于所有人

各行各業的客戶和合作伙伴都在通過亞馬遜云科技上的 NIM 來更快地進入市場、維護其生成式 AI 應用和數據的安全性與可控性，并降低成本。

IT 咨詢和數字服務提供商 SoftServe 開發了 6 款生成式 AI 解決方案，完全部署在亞馬遜云科技上，并通過 NVIDIA NIM 和亞馬遜云科技服務加速。這 6 款解決方案在 AWS Marketplace 中提供，分別為 SoftServe Gen AI Drug Discovery、SoftServe Gen AI Industrial Assistant、Digital Concierge、Multimodal RAG System、Content Creator 和 Speech Recognition Platform。

這些解決方案均基于NVIDIA AI Blueprint。NVIDIA AI Blueprint 是加速 AI 應用開發和部署的綜合參考工作流，并具有 NVIDIA 加速程序庫、軟件開發套件和 NIM 微服務，適用于 AI 智能體、數字孿生等。

即刻使用亞馬遜云科技上的 NIM

開發者可以根據自己的需求和要求在亞馬遜云科技上部署 NVIDIA NIM 微服務。這樣一來，開發者和企業就可以在各種亞馬遜云科技服務中使用經過 NVIDIA 優化的推理容器，以實現高性能 AI。

訪問 NVIDIA API 目錄，查看 100 多種經過 NIM 優化的模型，并申請開發者許可證或 NVIDIA AI Enterprise 90 天試用許可證，就可以開始在亞馬遜云科技服務上部署 NVIDIA 微服務。開發者還可以在 AWS Marketplace、Amazon Bedrock Marketplace 或 Amazon SageMaker JumpStart 中探索 NIM 微服務。