NVIDIA 近日公布了 NVIDIA Avatar Cloud Engine（ACE）的一系列技術(shù)，增強了 AI 虛擬形象和數(shù)字人的真實感和可訪問性，這些新的動畫和語音功能實現(xiàn)了更自然的對話和情感表達。

開發(fā)者現(xiàn)在可以使用新的云 API 在應(yīng)用中輕松實現(xiàn)和擴展智能虛擬形象，包括自動語音識別（ASR）、文本轉(zhuǎn)語音（TTS）、神經(jīng)機器翻譯（NMT）和 Audio2Face（A2F）。

AI 驅(qū)動的情感動畫

用戶可使用最新的 ACE AI 動畫功能和微服務(wù)（包括新添加的 A2F 情感支持）構(gòu)建更具表現(xiàn)力的數(shù)字人，現(xiàn)在還提供用于身體、頭部和眼球運動的 Animation Graph 微服務(wù)。

圖 1. NVIDIA ACE 端到端開發(fā)套件

增強的 AI 語音功能

現(xiàn)在支持的語言包括意大利語、西班牙語、德語和普通話，ASR 技術(shù)的整體準確性也得到了提高，ASR、TTS 和 NMT 的云 API 簡化了對最新語音 AI 功能的訪問。

無論用戶是想使用自己的語音將自定義語音應(yīng)用到智能 NPC，還是在視頻會議通話中隨機化用戶的語音，新的 Voice Font 微服務(wù)都能讓用戶自定義 TTS 輸出。這項技術(shù)可將說話者的獨特音調(diào)和音量轉(zhuǎn)換為參考音頻，同時保持相同的節(jié)奏和聲音模式。

新工具和框架

ACE Agent 是一家專業(yè)的對話管理和系統(tǒng)集成商，它能夠提供更加流暢的端到端體驗，并高效地協(xié)調(diào)微服務(wù)之間的連接。開發(fā)者還可以利用與 NVIDIA Omniverse 平臺的集成，通過 NVIDIA NeMo Guardrails、NVIDIA SteerLM 和 LangChain 來更好地控制精確且可調(diào)節(jié)的響應(yīng)。

現(xiàn)在，可以更輕松地在用戶選擇的渲染器或編碼環(huán)境中啟動和運行這些工具。新功能包括：

• 在 Avatar 配置器中支持 Blendshape，以輕松集成 Unreal Engine 等熱門渲染器。

• 面向 Python 用戶的全新 A2F 應(yīng)用程序。

• 一款參考應(yīng)用程序，適用于有興趣為客戶服務(wù)構(gòu)建虛擬助理的開發(fā)者。

總結(jié)

這些新推出的 NVIDIA ACE 功能提高了數(shù)字人體驗的質(zhì)量標準。借助簡化構(gòu)建和部署的增強功能，開發(fā)者現(xiàn)在可以獲得構(gòu)建新一代數(shù)字人應(yīng)用所需的簡化配置。

想要探索尖端數(shù)字人技術(shù)？點擊“閱讀原文”，申請 NVIDIA ACE 搶先體驗。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。掃描下方海報二維碼，立即注冊 GTC 大會。