NVIDIA 現(xiàn)已開(kāi)源 Audio2Face 模型與 SDK，讓所有游戲和 3D 應(yīng)用開(kāi)發(fā)者都可以構(gòu)建并部署帶有先進(jìn)動(dòng)畫(huà)的高精度角色。NVIDIA 開(kāi)源 Audio2Face 的訓(xùn)練框架，任何人都可以針對(duì)特定用例對(duì)現(xiàn)有模型進(jìn)行微調(diào)與定制。

NVIDIA Audio2Face 通過(guò)生成式 AI 驅(qū)動(dòng)的實(shí)時(shí)面部動(dòng)畫(huà)與嘴形同步，加速寫(xiě)實(shí)數(shù)字角色的創(chuàng)作流程。Audio2Face 利用 AI 根據(jù)音頻輸入生成逼真的面部動(dòng)畫(huà)。這項(xiàng)技術(shù)通過(guò)分析音素、語(yǔ)調(diào)等聲學(xué)特征，創(chuàng)建動(dòng)畫(huà)數(shù)據(jù)流，并映射至角色的面部表情。這些動(dòng)畫(huà)數(shù)據(jù)既可用于離線渲染預(yù)設(shè)的資產(chǎn)，也可實(shí)時(shí)傳輸?shù)絼?dòng)態(tài)的、由 AI 驅(qū)動(dòng)的角色，實(shí)現(xiàn)準(zhǔn)確的嘴形同步與情感表達(dá)。

Audio2Face 模型已廣泛應(yīng)用于游戲、媒體娛樂(lè)以及客戶(hù)服務(wù)等行業(yè)。眾多獨(dú)立軟件廠商 ISV 與游戲開(kāi)發(fā)商都在其應(yīng)用中采用了 Audio2Face。游戲開(kāi)發(fā)者包括 Codemasters、GSC Game World、網(wǎng)易和完美世界。ISV 包括 Convai、Inworld AI、Reallusion、Streamlabs 和 UneeQ。

以下是開(kāi)源工具的完整列表。