• 亞馬遜云科技將提供首款搭載 NVIDIA Grace Hopper 超級芯片和亞馬遜云科技可擴展性 UltraCluster 的云 AI 超級計算機。

• 首款采用 NVIDIA GH200 NVL32 的 NVIDIA DGX 云即將登陸亞馬遜云科技。

• 兩家公司聯合開展“Project Ceiba”合作項目，即全球最快的 GPU 驅動 AI 超級計算機和最新 NVIDIA DGX 云超級計算機，用于 NVIDIA AI 研發和自定義模型開發。

• 搭載 NVIDIA GH200、H200、L40S 和 L4 GPU的全新亞馬遜 EC2 實例為生成式 AI、高性能計算（HPC）、設計和仿真工作負載提供助力

• 亞馬遜云科技提供的 NVIDIA 軟件——NeMo LLM 框架、NeMo Retriever 和 BioNeMo 可推動用于自定義模型、語義檢索和藥物研發的生成式 AI 開發工作。

亞馬遜公司旗下的亞馬遜云科技（AWS）和 NVIDIA 宣布擴大戰略合作，共同提供最先進的基礎架構、軟件和服務，推進客戶的生成式人工智能（AI）創新。

NVIDIA 與亞馬遜云科技將集兩家公司技術之大成，無論是采用 NVIDIA 最新多節點系統的新一代 GPU、CPU 和 AI 軟件，還是 AWS Nitro System 高級虛擬化與安全功能、Elastic Fabric Adapter（EFA）互連接口和可擴展性 UltraCluster，均為訓練基礎模型和構建生成式 AI 應用的理想選擇。

這一擴展合作建立在雙方長期合作關系的基礎上。兩家公司通過為早期的機器學習（ML）先行者提供推進這些技術發展所需的計算性能，進而推動了生成式 AI 時代的發展。

擴展的合作內容之一是為所有行業的生成式 AI 提供強大助力：

• 亞馬遜云科技將成為首家把采用全新多節點NVLink技術的 NVIDIA GH200 Grace Hopper 超級芯片帶到云端的云服務提供商。NVIDIA GH200 NVL32 多節點平臺將 32 顆采用 NVIDIA NVLink 和NVSwitch技術的 Grace Hopper 超級芯片連接到一個實例中。該平臺將在與亞馬遜的強大網絡（EFA）相連的亞馬遜彈性計算云（Amazon EC2）實例上提供，并且得到先進的虛擬化功能（AWS Nitro System）和超大規模集群（Amazon EC2 UltraClusters）的支持，支持雙方客戶擴展到數千顆 GH200 超級芯片。

• NVIDIA 和亞馬遜云科技將共同提供由亞馬遜云科技托管的 NVIDIA AI 訓練即服務——NVIDIA DGX 云。這將是首個采用 GH200 NVL32 的 DGX 云，可以為開發者提供最大的單實例共享內存。亞馬遜云科技托管的 DGX 云將加快前沿生成式 AI 和大語言模型的訓練速度，這些模型的參數可能超過 1 萬億個。

• NVIDIA 和亞馬遜云科技正在合作“Project Ceiba”項目，設計世界上最快的由 GPU 驅動的 AI 超級計算機——一套搭載 GH200 NVL32 和亞馬遜 EFA 互連接口的大規模系統，由亞馬遜云科技托管，供 NVIDIA 內部研發團隊使用。這臺獨一無二的超級計算機具有 16,384 顆 NVIDIA GH200 超級芯片和 65 EFLOPS 的 AI 處理性能。NVIDIA 將使用其推動下一輪生成式 AI 創新浪潮。

• 亞馬遜云科技還將推出三個全新的亞馬遜 EC2 實例：搭載 NVIDIA H200 Tensor Core GPU 的 P5e 實例，適用于大規模和前沿生成式 AI 與 HPC 工作負載；以及分別搭載 NVIDIA L4 GPU 和 NVIDIA L40S GPU 的 G6 和 G6e 實例，適用于 AI 微調、推理、圖形和視頻工作負載等廣泛應用。其中，G6e 實例尤其適用于開發 3D 工作流程、數字孿生以及使用NVIDIA Omniverse（一個用于連接和構建生成式 AI 賦能的 3D 應用的平臺）的其他應用。

亞馬遜云科技首席執行官 Adam Selipsky 表示：“自全球首個 GPU 云實例開始，亞馬遜云科技與 NVIDIA 的合作已經超過 13 年。當下，我們為圖形、游戲、高性能計算、機器學習，以及如今的生成式 AI 等工作負載提供最廣泛的 NVIDIA GPU 解決方案。我們將繼續與 NVIDIA 一起創新，將下一代 NVIDIA Grace Hopper 超級芯片與亞馬遜云科技的 EFA 強大網絡、EC2 UltraClusters 超大規模集群以及 Nitro 高級虛擬化功能相結合，使亞馬遜云科技成為運行 GPU 的最佳平臺。”

NVIDIA 創始人兼首席執行官黃仁勛表示：“生成式 AI 正在深入改變云工作負載，并將加速計算作為多樣化內容生成的基礎。NVIDIA 和亞馬遜云科技的共同使命是為每一位客戶提供經濟高效的前沿生成式 AI 技術。在這一使命的驅動下，NVIDIA 和亞馬遜云科技正在開展覆蓋整個計算堆棧的合作，包括 AI 基礎架構、加速庫、基礎模型以及生成式 AI 服務。”

集 NVIDIA 和亞馬遜云科技

最新技術于一身的亞馬遜 EC2 實例

亞馬遜云科技將成為首家提供采用多節點 NVLink 技術的 NVIDIA GH200 Grace Hopper 超級芯片的云服務提供商。每個 GH200 超級芯片都將基于 Arm 的 Grace CPU 與 NVIDIA Hopper 架構 GPU 整合在一個模塊上。僅一個采用 GH200 NVL32 的亞馬遜 EC2 實例就可提供高達 20 TB 的共享內存，驅動 TB 級工作負載。

這些實例將充分利用亞馬遜云科技的第三代 Elastic Fabric Adapter（EFA）互連接口，為每個超級芯片提供高達 400 Gbps 的低延遲、高帶寬網絡吞吐量，支持客戶能夠在 EC2 UltraClusters 中擴展到數千顆 GH200 超級芯片。

采用 GH200 NVL32 的亞馬遜云科技實例將支持客戶按需訪問超級計算機級的性能，這對于大規模 AI/ML 工作負載至關重要。這些工作負載需要分布在多個節點上，以處理復雜的生成式 AI 工作負載，包括 FM、推薦系統和向量數據庫等。

搭載 NVIDIA GH200 的 EC2 實例將配備 4.5 TB 的 HBM3e 內存，與前一代搭載 H100 的 EC2 P5d 實例相比增加了 7.2 倍，這使客戶能夠運行更大規模的模型，并提升訓練性能。此外，CPU-GPU 內存互連提供比 PCIe 高 7 倍的帶寬，實現了芯片到芯片的通信，進而擴展了應用可用的內存總量。

采用 GH200 NVL32 的亞馬遜云科技實例將成為其首個采用液冷技術的 AI 基礎架構，這有助于確保密集服務器機架能夠以最高性能高效運行。

采用 GH200 NVL32 的 EC2 實例還將受益于下一代 EC2 實例的底層平臺——AWS Nitro System。Nitro System 通過將主機 CPU/GPU 的 I/O 功能卸載到專用硬件上，從而提供更加穩定的性能，同時其安全增強措施可在處理過程中保護客戶代碼和數據的安全。

亞馬遜云科技率先托管搭載

Grace Hopper 的 NVIDIA DGX 云

亞馬遜云科技將與 NVIDIA 共同托管采用 GH200 NVL32 NVLink 基礎架構的 NVIDIA DGX 云。NVIDIA DGX 云是一項 AI 超級計算服務，可幫助企業快速訪問多節點超級計算，用以訓練最復雜的 LLM 和生成式 AI 模型。同時，還集成了NVIDIA AI Enterprise軟件并可直接連線 NVIDIA AI 專家。

大規模 Project Ceiba

超級計算機將為 NVIDIA 的

AI 開發工作提供強大助力

亞馬遜云科技和 NVIDIA 正在合作的 Project Ceiba 超級計算機將與亞馬遜 Virtual Private Cloud（VPC）加密網絡和亞馬遜 Elastic Block Store 高性能塊存儲等服務集成，使 NVIDIA 能夠訪問亞馬遜云科技的全套功能。

NVIDIA 將把這臺超級計算機應用于研發，以此推進 AI 在 LLM、圖形和仿真、數字生物學、機器人、自動駕駛汽車、Earth-2 氣候預測等領域的發展。

NVIDIA 和亞馬遜云科技

大力推進生成式 AI、

HPC、設計和仿真的發展

為推動最大規模 LLM 的開發、訓練和推理，亞馬遜云科技 P5e 實例將采用 NVIDIA 最新的 H200 GPU。該 GPU 具有 141 GB 的 HBM3e GPU 內存，較 H100 GPU 內存擴大了 1.8 倍，提速 1.4 倍，加上 AWS Nitro System 支持的高達 3200 Gbps 的 EFA 網絡，將支持客戶繼續在亞馬遜云科技平臺上構建、訓練和部署其前沿模型。

為了提供節能且高性價比的視頻、AI 和圖形工作負載解決方案，亞馬遜云科技發布了搭載 NVIDIA L40S GPU的全新亞馬遜 EC2 G6e 實例和搭載 L4 GPU 的 G6 實例。這些新服務有助于滿足初創公司、企業和研究人員的 AI 和高保真圖形需求。

G6e 實例專為處理生成式 AI 和數字孿生應用等復雜工作負載而構建。借助 NVIDIA Omniverse，可以開發出逼真的 3D 仿真并利用來自 AWS IoT TwinMaker、智能聊天機器人、AI 助手、搜索和摘要等服務所提供的實時數據對其進行情景化和增強。Amazon Robotics 和 Amazon Fulfillment Centers 將能夠整合使用 NVIDIA Omniverse 與 AWS IoT TwinMaker 構建的數字孿生系統，從而優化倉庫設計和流程，訓練更加智能的機器人助手，并提高交付質量。

L40S GPU 可提供高達 1.45 PFLOPS 的 FP8 性能，其光線追蹤內核可提供高達 209 TFLOPS 的光追性能。G6 實例中的 L4 GPU 將為部署自然語言處理、語言翻譯、AI 視頻和圖像分析、語音識別以及個性化領域的 AI 模型提供成本更低、能效更高的解決方案。L40S GPU 還能加速圖形工作負載，如創建和渲染實時電影級圖形與游戲流等。這三個實例都將在明年推出。

亞馬遜云科技托管的

NVIDIA 軟件助力生成式 AI 開發

此外，NVIDIA 還發布了亞馬遜云科技托管、用于推動生成式 AI 開發工作的軟件。NVIDIA NeMo Retriever微服務提供的新工具可利用加速語義檢索，創建高度準確的聊天機器人和摘要工具。NVIDIA BioNeMo已在 Amazon SageMaker 上提供使用，并將登陸亞馬遜云科技托管的 NVIDIA DGX 云。該平臺能幫助制藥公司利用自己的數據簡化并加速模型訓練，進而加快藥物研發。

亞馬遜云科技托管的 NVIDIA 軟件正在助力亞馬遜為其服務和運營注入創新活力。亞馬遜云科技使用 NVIDIA NeMo 框架訓練選定的新一代亞馬遜 Titan LLM。Amazon Robotics 已開始使用 NVIDIA Omniverse Isaac 構建數字孿生，以便先在虛擬環境中自動化、優化和規劃其自主倉庫，然后再將其倉庫部署到現實世界中。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。點擊“閱讀原文”或掃描下方海報二維碼，立即注冊 GTC 大會。