Capital One、Microsoft、Samsung Medison、Siemens Energy、Snap等全球行業領導者都在使用該平臺。

加利福尼亞州圣克拉拉市 – 2021 年 11 月 9 日 – NVIDIA今日宣布其AI推理平臺的重大更新，目前Capital One、Microsoft、Samsung Medison、Siemens Energy、Snap等25000多家客戶都在使用該平臺。

這些更新包括開源NVIDIA Triton推理服務器軟件的新功能，該軟件為所有AI模型和框架提供跨平臺推理； 同時也包含對NVIDIA TensorRT的更新，該軟件優化AI模型并為NVIDIA GPU上的高性能推理提供運行時優化。

NVIDIA還推出了NVIDIA A2 Tensor Core GPU，這是一款用于邊緣AI推理的低功耗、小尺寸的加速器，其推理性能比CPU高出20倍。

NVIDIA副總裁兼加速計算總經理Ian Buck表示：“NVIDIA AI推理平臺正在推動各行各業的突破，包括醫療健康、金融服務、零售、制造和超級計算。無論是提供更智能的建議，發揮對話式AI的力量，還是推進科學發現，NVIDIA推理平臺都能以簡單易用的方式提供低延遲、高吞吐及多種性能組合的服務，為全球關鍵的AI新應用賦能。”

關鍵的軟件優化

Triton 推理服務器的主要更新包括：

● Triton 模型分析器 – 這款新工具可以自動化地從數百種組合中為 AI 模型選擇最佳配置，以實現最優性能，同時確保應用程序所需的服務質量。

● 多 GPU 多節點功能 – 這一新功能支持基于Transformer的大規模語言模型，例如 Megatron 530B，在多個GPU和服務器節點上運行并提供實時推理性能，而不是在單個GPU上運行。

● RAPIDS FIL – 這一針對隨機森林和梯度提升決策樹模型 GPU 或 CPU 推理的新后端為開發者使用 Triton 進行深度學習和傳統機器學習提供了一個統一的部署引擎。

● Amazon SageMaker 集成 – 這種無縫集成讓客戶能夠在 SageMaker（AWS 完全托管的 AI 服務）中使用 Triton 輕松部署多框架的模型，并實現高推理性能。

● 支持 Arm CPU – 除了 NVIDIA GPU 和 x86 CPU 外，Triton 后端現在還支持在 Arm CPU 上優化 AI 推理工作負載。

Triton 支持在云、數據中心、企業邊緣和嵌入式設備等環境中對 GPU 和 CPU 進行 AI 推理，并與 AWS、Google Cloud、Microsoft Azure、阿里云PAI-EAS 等平臺集成。此外，NVIDIA AI Enterprise 也集成了 Triton。

NVIDIA AI Enterprise 是一款經 NVIDIA 優化、認證和支持的用于開發和部署 AI 的端到端軟件套件，客戶可利用它在本地數據中心和私有云的 主流服務器上運行 AI 工作負載。

除了 Triton 外，TensorRT 現在還與TensorFlow和PyTorch集成，只需一行代碼就能提供比框架內推理快3倍的性能。這使得開發人員采用極為簡化的工作流程就可以體會TensorRT的強大功能。

NVIDIA TensorRT 8.2 是SDK的最新版本，可加速高性能的深度學習推理，在云端、本地或邊緣提供高吞吐和低延遲。有了最新的性能優化，數十億個參數的語言模型可實現實時運行。

行業領導者支持 NVIDIA AI 平臺推理

全球眾多行業領導者都正在使用 NVIDIA AI 推理平臺改進業務運營并為客戶提供新的AI賦能服務。

Microsoft Azure 認知服務為高品質 AI 模型提供基于云的 API，以創建智能應用程序。他們正在使用Triton 運行語音轉文本模型，為 Microsoft Teams 用戶提供準確的實時字幕和轉錄。

“Microsoft Teams 是全球溝通和協作的重要工具，每月有近 2.5 億活躍用戶，”Microsoft 團隊呼叫、會議和設備部首席 PM 經理 Shalendra Chhabra 表示。“這樣的 AI 模型極其復雜，需要數千萬個神經網絡參數才能在幾十種不同的語言中提供準確的結果。模型越大，就越難以經濟高效地實時運行。Microsoft Azure 認知服務上的 NVIDIA GPU 和 Triton 推理服務器使用 28 種語言和方言，通過 AI 近乎實時地幫助改進實時字幕和轉錄功能。”Microsoft Azure 認知服務上的 NVIDIA GPU 和 Triton 推理服務器，結合AI模型，幫助提升了涉及28 種語言和方言的實時字幕和轉錄功能的成本效益。

Samsung Medison 是三星電子旗下一家全球醫療設備公司。該公司正利用 NVIDIA TensorRT 通過智能輔助功能來為其超聲波系統提供增強的更優質的醫療影像。Samsung Medison 致力于通過提高患者的舒適度、減少掃描時間、簡化工作流程并最終提高系統吞吐量來改善患者和醫療健康領域專業人員的生活。

“在新款 V8 高端超聲波系統中應用 NVIDIA TensorRT 后，我們能夠在查看和診斷圖像時更好地為醫學專家提供支持，”Samsung Medison 副總裁、客戶體驗團隊主管 Won-Chul Bang 表示。“我們正在積極地將基于 AI 的技術引入我們的超聲波系統，以便為醫療專業人員提供更好的支持，使他們能夠專注于患者診斷和治療等更重要的領域。”

Siemens Energy是一家擁有領先能源技術解決方案的能源專營公司，該公司正利用 Triton 通過 AI 來幫助其發電廠客戶管理相關設施。

“高度復雜的發電廠通常會配備攝像頭和傳感器，但采用的卻是傳統軟件系統，NVIDIA Triton 推理服務器出色的靈活性能夠讓這些發電廠加入自主工業革命，” Siemens Energy自主運營部投資組合經理 Arik Ott 表示。

Snap是一家全球性攝影軟件和社交媒體公司，其主要產品和服務包括Snapchat、Spectacles和Bitmoji等。Snap正在使用NVIDIA技術來提高商業變現能力和降低成本。

“Snap使用NVIDIA GPU和TensorRT將機器學習推理的成本效率提高了50%，并將服務延遲降低了2倍，“Snap公司策劃與商業變現部門工程副總裁Nima Khajehnouri表示。”這為我們提供了計算資源，以實踐和部署更大型、更準確的廣告和內容排名模型。“

NVIDIA面向推理的 AI 平臺包括了新的 NVIDIA 認證系統，全新A2 GPU

NVIDIA 認證系統可以幫助客戶在高性能、經濟高效且可擴展的基礎設施上為各種現代 AI 應用識別、獲取和部署系統，該認證系統現在包含兩個新的邊緣AI類別。

擴展的類別允許 NVIDIA 系統的合作伙伴為客戶提供完整系列的由基于 NVIDIA Ampere 架構的 GPU 支持的 NVIDIA 認證系統，來處理各種實際工作負載。新的 NVIDIA A2 GPU 也包含在內，它是一個入門級、低功耗的緊湊型加速器，適用于邊緣服務器中的推理和邊緣 AI。 NVIDIA A2與適用于主流企業服務器的 NVIDIA A30 、適用高性能 AI 服務器的 NVIDIA A100 一起，為邊緣、數據中心和云端的 AI 推理提供了完整的方案。

Atos、戴爾科技、技嘉、慧與、浪潮、聯想和 Supermicro 等全球領先的企業系統供應商，其AI系統產品線均支持在 NVIDIA 認證系統上使用 NVIDIA AI Enterprise。

其他系統提供商，如研華科技、ASRock Rack、華碩、寧暢、新華三 和 QCT 也為各種工作負載提供了 NVIDIA 認證系統。包括 研華科技、技嘉和聯想在內的領先供應商將很快推出首款通過新邊緣類別認證的 NVIDIA 認證系統。

供貨情況

Triton 通過 NVIDIA NGC 目錄提供。NVIDIA NGC是針對 GPU 優化的 AI 軟件中心，包括框架、工具包、預訓練模型和 Jupyter Notebooks。Triton源代碼可從 Triton GitHub 資源庫獲取。

NVIDIA 開發者計劃成員可通過 TensorRT 頁面獲取 TensorRT。最新版本的插件、解析器和示例也以開源形式提供，可從 TensorRT GitHub 資源庫獲取。

客戶可以通過今日獨家發布的 NVIDIA LaunchPad中的全球精選實驗室，在 NVIDIA AI Enterprise 軟件套件中體驗 NVIDIA Triton。

NVIDIA AI Enterprise 軟件套件可通過全球 NVIDIA 渠道合作伙伴獲取，包括 Atea、Axians、Carahsoft Technology Corp.、Computacenter、Insight Enterprises、Presidio、Sirius、SoftServe、SVA System Vertrieb Alexander GmbH、TD SYNNEX、Trace3 和 WWT。