在每周的預告中，你可以：

了解一周的在線研討會時間及詳細內容，選擇感興趣的研討會并提前安排收聽時間;

找到每場研討會的參會方式，保存并轉發到朋友圈及微信群，與朋友分享精彩內容。

基于 NVIDIA Triton 的 AI 模型高效部署實踐

內容

NVIDIA Triton 推理服務器(以前稱為 TensorRT 推理服務器)是一款開源軟件，可簡化深度學習模型在生產環境中的部署。借助 Triton 推理服務器，Devops 和 MLops 團隊可以將各類框架(TensorFlowPyTorch、TensorRT、ONNX Runtime、MXNet、XGBoost 等或自定義框架后端)訓練的 AI 模型，在基于 GPU 或 CPU 的本地、數據中心、云、邊緣云等平臺，快速可靠地部署在諸如 Kubernetes、KFServing、Prometheus、Grafana 等大規模生產環境中，并輕松擴展。

借助 NVIDIA Ampere 架構 Tensor Core 和多實例并行運行多個工作負載( MIG )，Triton 推理服務器可以最大化 A100 GPU 和 A30 GPU 的利用率。它不僅可在單個 NVIDIA GPU 上同時運行多個模型，以更大限度地提高利用率，與 Kubernetes 集成以用于編排、指標和自動擴展，還可以讓多個用戶共享一個 GPU ，通過將單個 GPU 劃分為多個 GPU 實例，讓每個實例都有專用的內存和計算資源，在確保執行工作負載的同時，保證服務質量和故障隔離。

本次研討會 NVIDIA 解決方案架構師張萌將參與主講環節， NVIDIA 解決方案架構師申意則將主要參與問答環節。

通過本次在線研討會您將了解以下內容：

應用 Triton 的收益

基于 Ampere 架構多實例 GPU 特性和 K8s 實現 Triton 大規模部署

如何使用 Triton 部署端到端的 CV 模型

Triton 在行業內的一些應用案例

日程

6 月 28 日，周二，19:00 – 20:00

演講嘉賓

張萌

NVIDIA 解決方案架構師

申意

NVIDIA 解決方案架構師

內容

隨著人工智能、數據科學、虛擬仿真等數據流量負載呈現指數增長，企業需要在任何位置都有足夠的處理能力，這對傳統的數據中心基礎設施帶來全新挑戰與巨大沖擊，需要構建現代數據中心來支撐企業業務應用。

NVIDIA BlueField DPU 是一款非常強大的片上數據中心基礎設施，可用于卸載、加速和隔離在主機 CPU 上運行的各種軟件定義基礎設施服務，將數據中心基礎設施與業務應用解耦，提升在云計算、數據中心或邊緣計算的性能、安全性和效率，突破性能和可擴展性的瓶頸，并消除現代數據中心的安全威脅，簡化運營并降低總擁有成本( TCO)。

為了充分發揮 BlueField DPU 這一強大的片上數據中心基礎設施硬件能力，簡單、高效的 NVIDIA DOCA 軟件框架應運而生，為開發者打造一個全面、開放的開發平臺，支持廣大的開發者在 BlueField DPU 上進行簡單、靈活的軟件開發，讓開發者可以快速創建 BlueField DPU 加速的、高性能應用程序和服務。

本次課程將幫助開發者深入了解如下內容：

什么是 DPU?

NVIDIA BlueField DPU 簡介

NVIDA DOCA 軟件框架

NVIDIA BlueField DPU 加速功能

日程

6 月 30 日，星期四，20:00 – 21:00

演講嘉賓

崔巖

NVIDIA 網絡技術專家

負責以技術角度推進 DPU 和 DOCA 產品及聯合解決方案在中國的市場營銷，驅動 DOCA 開發者社區在中國的增長與發展，促進客戶與合作伙伴在未來數據中心基礎設施上取得成功。

原文標題：一周預告丨本周 NVIDIA 在線研討會精彩亮點搶先看

文章出處：【微信公眾號：NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。

審核編輯：湯梓紅