隨著 Z 世代的到來，元宇宙概念正在應(yīng)用于多個(gè)領(lǐng)域，虛擬主播也開始成為新的表現(xiàn)形式，這里面就包括了快手官方虛擬主播“關(guān)小芳”。這位 23 歲的虛擬主播自首次亮相以來，便憑借著討喜的人設(shè)逐漸成長(zhǎng)為快手粉絲喜愛的全能主播。

12 月 25 日，快手與 NVIDIA 強(qiáng)勢(shì)聯(lián)合，邀請(qǐng)?zhí)摂M主播關(guān)小芳與它背后的 NVIDIA 程序員小姐姐 Alice，與廣大粉絲玩黑科技過圣誕！真人與虛擬主播的完美碰撞，恰逢世界杯剛剛落下帷幕，本場(chǎng)直播還引入了虛擬足球賽，與在線粉絲同頻互動(dòng)，更有多種魔法表情的玩法挑戰(zhàn)，只為帶給粉絲最好的互動(dòng)體驗(yàn)。

本場(chǎng)直播共有 382 萬人次觀眾參與了本次直播，有效觀看用戶數(shù)達(dá) 435.7 萬，實(shí)時(shí)最高在線人數(shù) 3.7 萬。在關(guān)小芳和 Alice 的帶隊(duì)下，粉絲們對(duì)于人工智能、加速計(jì)算、虛擬數(shù)字技術(shù)有了進(jìn)一步的理解。

一場(chǎng)加時(shí)球賽，點(diǎn)亮 2022 年的平安夜

2022 卡塔爾世界杯為人們奉上了無數(shù)精彩時(shí)刻，球迷們除了聚焦綠茵場(chǎng)上的角逐，也在比賽之外感受著濃厚的世界杯氛圍。本次直播就新增了一場(chǎng)加時(shí)球賽，讓球迷們過“足”癮。

有機(jī)會(huì)參賽的粉絲，入場(chǎng)后會(huì)自動(dòng)生成虛擬形象，進(jìn)入到不同的陣營(yíng)。比賽開始后，奔跑、跳躍的操控非常絲滑，如同身臨其境！更有變大的特效效果，增加了比賽的可玩性，現(xiàn)場(chǎng)感十足。除了真實(shí)感、沉浸感以外，這個(gè)球賽最特別的是，每個(gè)參與的粉絲都會(huì)由于他們不同的活動(dòng)軌跡而看到不同的場(chǎng)景，實(shí)現(xiàn)虛擬互動(dòng)“千人千面”的效果。

據(jù)悉，直播中展示的小芳圣誕足球賽，是由快手推出的「快手虛擬演播助手（Kuaishou Virtual Studio（KVS）」軟件來實(shí)現(xiàn)的。KVS 可以讓傳統(tǒng)直播間變成“元宇宙直播間”，為智能文娛、虛擬拍攝、直播電商等帶來新的機(jī)遇。KVS 支持主播實(shí)時(shí)表情和動(dòng)作驅(qū)動(dòng)數(shù)字人，置身精美的 3D 虛擬世界場(chǎng)景中，還支持觀眾化身 avatar 第角進(jìn)一人稱視入“元宇宙直播間”，實(shí)現(xiàn)與主播和其他用戶的個(gè)性化沉浸式互動(dòng)。KVS 具備優(yōu)秀的易用性，可有效提升直播間人氣和消費(fèi)， 更好傳遞品牌價(jià)值。

在構(gòu)建高品質(zhì)直播畫面的過程中，往往會(huì)面臨許多挑戰(zhàn)，這些挑戰(zhàn)在沉浸式的元宇宙足球賽中要求更高。NVIDIA 全棧式 AI 加速平臺(tái)可加速和增強(qiáng)直播所需的視頻、圖形。憑借全新的 NVIDIA Ampere 架構(gòu)、更完善的視頻編解碼器、RT Core 核心、Tensor Core 核心、統(tǒng)一的 CUDA 架構(gòu)以及大量 SDK 和軟件工具，為直播各環(huán)節(jié)提供全面支持。

在足球賽中，每一個(gè)自動(dòng)走動(dòng)的形象，以及參與互動(dòng)用戶自己的獨(dú)特視角實(shí)現(xiàn)，都體現(xiàn)了云端并行渲染能力的支持。NVIDIA CloudXR 是一個(gè)在廣域網(wǎng)下助力 XR 內(nèi)容傳輸?shù)脑其秩窘鉀Q方案，可以很好地豐富 XR 內(nèi)容。通過 NVIDIA GPU 的加持，再經(jīng)由網(wǎng)絡(luò)傳輸，可以輕松串流到各個(gè)不同的電子設(shè)備上，包括 AR 眼鏡、VR 頭盔等。有了 NVIDIA CloudXR 的編解碼和串流能力，精美的畫質(zhì)，順暢的體驗(yàn)唾手可得。這種模式打破了過往統(tǒng)一畫面的視覺體驗(yàn)，讓觀眾更有參與感，能和主播更接近。在這個(gè)過程中，NVIDIA GPU 就像能量池一樣，為直播間源源不斷地提供儲(chǔ)備好的算力能量。

揭秘關(guān)小芳背后的硬核科技和應(yīng)用場(chǎng)景

在本次直播中，最引人矚目的莫過于關(guān)小芳的小伙伴——來自 NVIDIA 的程序員小姐姐 Alice，也是關(guān)小芳背后的開發(fā)人員之一。

關(guān)小芳是快手首個(gè)基于多模樣 AI 捕捉驅(qū)動(dòng)能力和實(shí)時(shí)真實(shí)感渲染打造的虛擬主播。很多粉絲在體驗(yàn)之余，也不禁好奇：關(guān)小芳是如何實(shí)現(xiàn)與粉絲實(shí)時(shí)互動(dòng)交流的？她背后的技術(shù)又是什么？

據(jù) Alice 介紹，數(shù)字人的生產(chǎn)可以拆分成人物建模、人物渲染、人物驅(qū)動(dòng)和感知交互四個(gè)作業(yè)環(huán)節(jié)。完成建模后，會(huì)做進(jìn)一步的美化設(shè)計(jì)及渲染。最后讓中之人穿上動(dòng)捕設(shè)備，進(jìn)行實(shí)時(shí)的動(dòng)作表情捕捉，來驅(qū)動(dòng)虛擬人的活動(dòng)。

NVIDIA 專為 3D 協(xié)作、逼真渲染及仿真打造了 NVIDIA Omniverse平臺(tái)。借助Omniverse Avatar Cloud Engine（ACE）引擎能力，能夠加速虛擬人生產(chǎn)的每個(gè)作業(yè)環(huán)節(jié)，將虛擬人的創(chuàng)作周期大幅縮短，創(chuàng)建出具備 3D 光追的特性，還能夠和人類實(shí)現(xiàn)交互，并合理理解以及表達(dá)其意圖的數(shù)字人。

如下圖所示，直播中展示的 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的數(shù)字分身“Toy Jensen”唱圣誕歌的畫面，就展示了最新的語音驅(qū)動(dòng)面部情緒的算法工具 Audio2Emotion 的最新效果。借助 Audio2Face，Audio2Gesture 以及 Face vid2vid 等算法工具，虛擬數(shù)字人的語音和表情還能得到進(jìn)一步的優(yōu)化和升級(jí)，未來將支持關(guān)小芳與粉絲更好地互動(dòng)交流。

在互動(dòng)中，關(guān)小芳和 Alice 還展示了酷炫的特效、道具以及多款魔法表情，包括快手最新研發(fā)出來的 #張鳳琴這局我贏定了 的新春魔法表情。在該款魔表互動(dòng)中，關(guān)小芳的好朋友，同樣由快手研發(fā)的虛擬歌手“神奇少女張鳳琴”，與用戶拍攝的虛擬形象坐在炕上打撲克嘮家常，非常喜慶。配合視頻默認(rèn)的聲音臺(tái)詞，用戶眨眼、張嘴、抬眉毛、吐舌頭等微表情和細(xì)微動(dòng)作都能被精準(zhǔn)還原，十分逗趣。

在技術(shù)層面，數(shù)字人特效道具的的本質(zhì)是一種數(shù)字資產(chǎn)，基于收集到的動(dòng)作數(shù)據(jù)/3D 資產(chǎn)等，加上算法模擬和渲染，在 NVIDIA 計(jì)算加持下，實(shí)現(xiàn)酷炫的特效和有趣的道具使用。比如關(guān)小芳手持的道具，就是先制作這個(gè)美術(shù)資產(chǎn)后，確定好手部和道具的位置關(guān)系，通過按鍵、手勢(shì)或其它觸發(fā)方式呈現(xiàn)出來。又比如小芳使用了大哭特效，開發(fā)人員會(huì)提前收集小芳大哭的動(dòng)作數(shù)據(jù)，再加上眼淚的 3D 資產(chǎn)，利用算法將兩者融合起來，形成小芳大哭。又比如小芳非常喜歡的翅膀道具，在這里翅膀是一種 3D 資產(chǎn)，小芳會(huì)提前進(jìn)行飛翔的動(dòng)作模擬，最后用算法融合有飛翔動(dòng)作的小芳和翅膀，并通過渲染，最終達(dá)到小芳飛翔的效果。

直播間特效，則分為 2D 特效和 3D 特效，是先設(shè)計(jì)好呈現(xiàn)效果，再進(jìn)行開發(fā)的。相比道具，直播間特效會(huì)有一些交互上的考慮，比如人臉表情變化是否產(chǎn)生不同特效，比如特效是否隨時(shí)間變化有所變化等。

比如，在本次直播中看到的圣誕樹點(diǎn)亮、放煙花等一系列的直播間特效，是得益于 NVIDIA 的 AI 加速計(jì)算和低時(shí)延渲染加以實(shí)現(xiàn)。以虛擬人和虛擬空間為載體，基于實(shí)時(shí)的數(shù)據(jù)，對(duì)虛擬物體進(jìn)行實(shí)時(shí)的渲染，這種互動(dòng)玩法的設(shè)計(jì)，背后都有它的觸發(fā)機(jī)制，比如圣誕樹點(diǎn)亮，就是當(dāng)點(diǎn)贊數(shù)增加到一定程度就能觸發(fā)點(diǎn)亮這個(gè)動(dòng)作。基于 NVIDIA GPU 進(jìn)行的低延時(shí)渲染，保證了觀眾都能看到并且參與到這個(gè)變化的過程，感受沉浸式互動(dòng)的樂趣。

強(qiáng)強(qiáng)聯(lián)合 推動(dòng)直播形式新元

快手作為國(guó)民短視頻平臺(tái)，與 NVIDIA 打造的本次圣誕專場(chǎng)直播，不僅異于其他直播形式，同時(shí)出現(xiàn)眾多直播領(lǐng)域新技術(shù)，新玩法，其中以虛擬互動(dòng)“千人千面”的技術(shù)最為突出，為粉絲們帶來沉浸感十足的打卡互動(dòng)體驗(yàn)。此次快手與 NVIDIA 的強(qiáng)強(qiáng)聯(lián)合，不僅能在傳統(tǒng)直播形式的基礎(chǔ)上創(chuàng)新發(fā)展，帶給粉絲們更加新穎的、互動(dòng)性更強(qiáng)的直播內(nèi)容，同時(shí)也能夠激發(fā)科技產(chǎn)品創(chuàng)新能力，為未來打造更加信息化、科技化的產(chǎn)品打下基礎(chǔ)，激活競(jìng)爭(zhēng)力，誕生更有利的價(jià)值。科技源于生活，也同時(shí)服務(wù)于生活，相信在雙方團(tuán)隊(duì)的碰撞下，快手將持續(xù)在內(nèi)容理解、視頻特效、數(shù)字人、直播等領(lǐng)域持續(xù)創(chuàng)新，將更多優(yōu)質(zhì)內(nèi)容分享給廣大用戶。