3 月 22 日 1:00 PM

鎖定 China AI Day

加速計算助力云上業(yè)務(wù)場景

會議代碼：[SE52359]

演講時間：3 月 22 日 1:00 PM - 1:30 PM

演講嘉賓：

李曦鵬

NVIDIA 開發(fā)與技術(shù)部門亞太區(qū)總經(jīng)理

主要內(nèi)容:

加速計算是未來必經(jīng)之路，極致化性能，并提高能效。NVIDIA AI 平臺涵蓋了從基礎(chǔ)設(shè)施、調(diào)度、加速庫以及加速框架、部署工具和最上層的應(yīng)用框架。NVIDIA 也提供了從數(shù)據(jù)預(yù)處理、大規(guī)模訓(xùn)練、推理優(yōu)化到大規(guī)模部署的端對端軟件。加速計算需要應(yīng)用導(dǎo)向來進行整個環(huán)節(jié)的優(yōu)化，是軟硬件協(xié)同，需要業(yè)務(wù)、算法、工程師和加速工程師密切合作。

本演講將以推薦系統(tǒng)的演變?yōu)槔瑏黻U述加速計算的旅程。加速計算也正是 China AI day 的主旨所在。非常歡迎并誠摯感謝 China AI Day 的演講者，分享在數(shù)字孿生、元宇宙、短視頻、以及搜索、廣告、推薦等領(lǐng)域，借助 NVIDIA GPU 和全棧 AI 解決方案，最新鮮的優(yōu)化加速的精彩成果。

李星瀾：一個基于實時智能交互系統(tǒng)打造的 “真實” 數(shù)字生命

會議代碼：[SE51461]

演講時間：3 月 22 日 1:30 PM -2:00 PM

演講嘉賓：

四道

朝夕光年江南工作室 AI 技術(shù)負責(zé)人

主要內(nèi)容:

智能 NPC 和數(shù)字人已經(jīng)在娛樂行業(yè)和社交媒體平臺被廣泛應(yīng)用，包括人工智能驅(qū)動的主持人、評論員和網(wǎng)紅等。但開發(fā)具有高視覺保真度的逼真智能 AI 通常需要大量時間，而且成本很高，很難擴大規(guī)模。

朝夕光年江南工作室提出了一個 GPU 驅(qū)動的系統(tǒng)，包括文本到語音模塊、音頻到全身動畫模塊、視頻分析模塊、渲染模塊和聊天機器人模塊，基于這些模塊可以構(gòu)建一個逼真的實時交互數(shù)字人。在 NVIDIA Omniverse 的支持下，可以實時高效地渲染李星瀾，而且其中的動畫模塊將根據(jù)后端聊天機器人的輸出自動驅(qū)動角色模型的運動。動畫模塊和后臺聊天機器人都是基于自定義開發(fā)的深度神經(jīng)網(wǎng)絡(luò)。使用 NVIDIA Omniverse ACE，能夠在兩天內(nèi)完全訓(xùn)練 audio2motion 和 text2speech 模型，并在 5 天內(nèi)訓(xùn)練超大參數(shù)的 Chatbot 神經(jīng)網(wǎng)絡(luò)模型，使用了超過 10tb 的訓(xùn)練數(shù)據(jù)。

本演講將介紹如何利用 NVIDIA Omniverse 和 NVIDIA GPU，以及如何借助計算機圖形學(xué)和人工智能功能來構(gòu)建 Lydia 數(shù)字人項目。

飛槳深度學(xué)習(xí)平臺高效支持大規(guī)模生產(chǎn)及應(yīng)用

會議代碼：[S52366]

演講時間：3 月 22 日即可在線觀看 自選點播

演講嘉賓：

馬艷軍

百度 AI 技術(shù)生態(tài)總經(jīng)理

主要內(nèi)容:

源于百度業(yè)務(wù)對人工智能技術(shù)的廣泛應(yīng)用，飛槳深度學(xué)習(xí)平臺結(jié)合應(yīng)用持續(xù)創(chuàng)新，研發(fā)了業(yè)界領(lǐng)先的大規(guī)模分布式訓(xùn)練技術(shù)。飛槳先后發(fā)布了 4D 混合并行訓(xùn)練、端到端自適應(yīng)分布式訓(xùn)練、超大規(guī)模圖訓(xùn)練引擎等核心技術(shù)，并基于這些技術(shù)支持文心大模型的訓(xùn)練和部署。目前，文心大模型已經(jīng)覆蓋基礎(chǔ)大模型、任務(wù)大模型、行業(yè)大模型的三級體系，飛槳+文心大模型賦能千行百業(yè)的智能化升級。本演講將分享飛槳深度學(xué)習(xí)平臺如何高效支持大規(guī)模生產(chǎn)及應(yīng)用。

機器學(xué)習(xí)模型中訪存密集型計算 STITCH 融合優(yōu)化技術(shù)

會議代碼：[SE51289]

演講時間：3 月 22 日 2:00 PM – 2:30 PM

演講嘉賓：

鄭楨

阿里巴巴高級技術(shù)專家

主要內(nèi)容:

近年來，訪存密集型計算日益成為影響機器學(xué)習(xí)模型性能的重要因素。由于機器學(xué)習(xí)模型計算圖日趨復(fù)雜，傳統(tǒng)的機器學(xué)習(xí)編譯器面對復(fù)雜的數(shù)據(jù)依賴關(guān)系時很難執(zhí)行高效的計算融合優(yōu)化。同時，動態(tài)張量形狀（dynamic tensor shape）的模型優(yōu)化需求開始興起，缺失的張量形狀使得訪存密集型計算子圖的性能優(yōu)化變得更加困難。

本演講將講述阿里巴巴針對機器學(xué)習(xí)任務(wù)中訪存密集型計算性能優(yōu)化的關(guān)鍵技術(shù)：STITCH 融合技術(shù)。該技術(shù)支持將任意類型及任何數(shù)量的機器學(xué)習(xí)訪存密集型算子進行融合，最終將大粒度的訪存密集型計算子圖轉(zhuǎn)化為單個的 GPU 核函數(shù)，以減少片外訪存、框架調(diào)度及 GPU 核函數(shù)調(diào)用開銷。

GPU 加速大規(guī)模向量索引構(gòu)建

會議代碼：[SE51475]

演講時間：3 月 22 日 2:30 PM – 3:00 PM

演講嘉賓：

李晨

騰訊高級工程師

主要內(nèi)容:

大規(guī)模向量檢索引擎在騰訊諸多業(yè)務(wù)中有所應(yīng)用，在百億級召回場景中提供低延遲、高召回率的在線服務(wù)。但隨著索引規(guī)模的增加，向量索引的構(gòu)建已經(jīng)成為日常索引的更新瓶頸。離線向量 IVF 索引構(gòu)建，在引入 GPU 優(yōu)化之前，索引構(gòu)建工作依托 Hadoop 平臺進行，引入 NVIDIA GPU 改造后索引構(gòu)建成本降低 60%。索引構(gòu)建的優(yōu)化工作主要由兩部分組成：1. IVF KMeans 聚類；2. 百億向量在海量聚類中心上的 FIT 過程。本次演講將介紹如何基于 GPU 構(gòu)建大規(guī)模向量索引及其優(yōu)化過程。

多模態(tài)超大模型在短視頻場景落地應(yīng)用

會議代碼：[SE52361]

演講時間：3 月 22 日 3:00 PM – 3:30 PM

演講嘉賓：

張勝卓，快手算法引擎專家

韓青長，快手算法引擎工程師

李杰，快手算法引擎工程師

門春雷，快手算法引擎專家

主要內(nèi)容:

以 ChatGPT 為代表的大模型面世，帶來了 AI 大模型技術(shù)熱潮，研究表明，知識密集任務(wù)中越大的模型學(xué)習(xí)效率越高（相同訓(xùn)練數(shù)據(jù)量下，模型越大任務(wù)效果越好），主流大模型的參數(shù)大都超過了千億 (100B) 規(guī)模，同時也給模型的高效訓(xùn)練和推理部署帶來嚴峻挑戰(zhàn)。快手圍繞提高模型計算效率和可部署開展技術(shù)攻關(guān)，沉淀了一套通用的混合并行訓(xùn)練、壓縮、推理整體解決方案，并聯(lián)合業(yè)務(wù)實現(xiàn)百億參數(shù) Dense 模型和千億參數(shù) MOE 大模型落地，取得顯著業(yè)務(wù)收益。本演講將分享多模態(tài)超大模型在短視頻場景的落地應(yīng)用。

PGLBox：百度基于 GPU 的超大規(guī)模圖模型訓(xùn)練框架

會議代碼：[SE51302]

演講時間：3 月 22 日 3:30 PM – 4:00 PM

演講嘉賓：

焦學(xué)武

百度主任架構(gòu)師、百度 MEG 商業(yè)模型中臺技術(shù)負責(zé)人

主要內(nèi)容:

PGLBox 是百度研發(fā)的基于 GPU 的大規(guī)模圖模型訓(xùn)練框架，支持數(shù)百億節(jié)點和邊的圖模型全 GPU 訓(xùn)練，已在百度廣泛部署。相比業(yè)界主流的分布式 CPU 解決方案，PGLBox 具有以下幾大優(yōu)勢：1. 超高性能：業(yè)界首個分布式 GPU 圖學(xué)習(xí)訓(xùn)練框架，相比分布式 CPU 方案，訓(xùn)練速度提升 27 倍；2. 超大規(guī)模：業(yè)界首個多級存儲圖引擎，單機可支持數(shù)百億節(jié)點數(shù)百億邊的超大圖規(guī)模；3. 算法豐富：預(yù)置豐富的圖表示學(xué)習(xí)算法，支持跨場景異構(gòu)圖建模和復(fù)雜圖屬性建模；4. 靈活易用：用戶僅需簡單配置，即可一鍵啟動大規(guī)模圖表示學(xué)習(xí)訓(xùn)練任務(wù)；5. 落地廣泛：百度內(nèi)部多業(yè)務(wù)體系廣泛落地，為業(yè)務(wù)帶來了顯著業(yè)務(wù)收益。

視頻場景中的音頻理解推理加速解決方案

會議代碼：[SE51166]

演講時間：3 月 22 日 4:00 PM – 4:30 PM

演講嘉賓：

陳炳州

字節(jié)跳動音頻理解視頻方向引擎負責(zé)人

主要內(nèi)容:

音頻理解是指通過語音識別、事件檢測、語種識別、聲紋識別等技術(shù)從音頻數(shù)據(jù)中解析出多維度信息。在視頻場景上，比較經(jīng)典的落地技術(shù)，比如視頻字幕生成、視頻字幕打軸等等。這些技術(shù)應(yīng)用極大地提高了人效，也帶來生活的便利。伴隨短視頻和音頻類應(yīng)用的興起，用戶請求量、音頻數(shù)據(jù)正呈幾何級別增長，這些都為大規(guī)模數(shù)據(jù)處理，以及高并發(fā)低延遲的推理帶來諸多挑戰(zhàn)。比如機器有限的情況下如何處理更多的音頻，多語種的場景中單卡處理單語種模型存在利用率較低的問題。本演講將基于 NVIDIA 提供的推理 GPU（T4, A10, A30），介紹音頻理解如何做推理加速，以及如何廣泛應(yīng)用于抖音等大流量場景。

CUTLASS 極致性能優(yōu)化探索及在阿里巴巴推薦系統(tǒng)中的應(yīng)用

會議代碼：[SE51305]

演講時間：3 月 22 日 4:30 PM – 5:00 PM

演講嘉賓：

董紀(jì)瑩

阿里巴巴高級工程師

主要內(nèi)容:

在大規(guī)模推薦系統(tǒng)中，點擊率（Click-Through Rate, CTR）和 轉(zhuǎn)化率（ConVersion Rate, CVR）預(yù)測任務(wù)的深度神經(jīng)網(wǎng)絡(luò)模型通過由 Embedding 層，Attention 層和 MLP 層組成。然而，在 TensorFlow 上執(zhí)行時，Attention 層和 MLP 層中數(shù)量眾多的算子和大量耗時的計算成為了性能瓶頸。

通過 NVIDIA 開源的高性能矩陣乘（general matrix multiplication, GEMM）應(yīng)用框架 CUTLASS，能夠?qū)崿F(xiàn)將與 GEMM 相連的算子融合進 GEMM，并且將級聯(lián)的 GEMM 進一步融合成一個算子。通過這種方式，在理想情況下，可以將整個Attention 模塊融合成一個算子。在計算 MLP 時，將縱向相連的 GEMM 融合成 back-to-back GEMM，然后繼續(xù)將橫向相連的 GEMM 融合成 Batch GEMM，從而實現(xiàn)性能提升。這些優(yōu)化已經(jīng)在阿里巴巴預(yù)測引擎平臺上線，很好地提升了預(yù)測性能，更好地發(fā)揮了硬件算力。

NVIDIA CUDA 技術(shù)助力網(wǎng)易瑤臺神經(jīng)隱式曲面建模 20 倍加速

會議代碼：[SE52360]

演講時間：3 月 22 日 5:00 PM – 5:30 PM

演講嘉賓：

李林橙

網(wǎng)易伏羲視覺計算負責(zé)人

主要內(nèi)容:

網(wǎng)易瑤臺提供大型的沉浸式會展服務(wù)。在與客戶的溝通中，我們了解到，客戶期望將線下物體生成 3D 模型，導(dǎo)入瑤臺，從而降低定制化制作的成本。2020 年以來神經(jīng)渲染 3D 建模技術(shù)快速發(fā)展，重建精度有了顯著的提升，但耗時卻限制了實際的應(yīng)用。網(wǎng)易瑤臺充分利用了 NVIDIA 的 tiny-cuda-nn 與 CUDA 渲染技術(shù)，對神經(jīng)隱式曲面建模進行了 20 多倍加速，實現(xiàn)了高效、高質(zhì)量的 3D mesh 重建。本演講將分享項目過程中的實踐經(jīng)驗與心得。

在 GPU 上使用 Video Codec SDK，CV-CUDA 和 TensorRT 加速現(xiàn)代云上視頻應(yīng)用

會議代碼：[SE51229]

演講時間：3 月 22 日5:30 PM – 6:00 PM

演講嘉賓：

王倬遙

NVIDIA 開發(fā)與技術(shù)部工程師

主要內(nèi)容:

人工智能技術(shù)廣泛應(yīng)用于云和 on-prem 數(shù)據(jù)中心的短視頻和直播應(yīng)用當(dāng)中，覆蓋了超分辨率、直播視頻特效、舊視頻修復(fù)、自動像素化、視頻內(nèi)容理解等。然而，當(dāng)部署這些應(yīng)用程序時，傳統(tǒng)視頻處理管線混合了 CPU 和 GPU 負載，其性能將受到以下因素的限制：1) h2d 和 d2h 內(nèi)存拷貝；2) CPU 上的前處理和后處理；3) CPU 上的視頻編解碼；4) 未充分優(yōu)化的 AI 推理框架。

針對以上限制， NVIDIA 提供了豐富的視頻處理相關(guān)的 SDK。如何在實踐中高效地在云上使用這些工具是搭建基于人工智能的新式視頻處理管線的關(guān)鍵。本演講將介紹如何使用這些 SDK 來解決應(yīng)用中的低效部分，并構(gòu)建一個全 GPU 的視頻處理管線。

如何預(yù)約和注冊