虛擬助手在用戶發出命令后就會作出語音回復。而生成語音回復的技術被稱為文本轉語音（TTS）。

TTS 應用能夠讓輔助器具使用者訪問更多內容，因此非常實用。最新的 TTS 技術可以從一段幾分鐘的音頻數據中生成合成聲音，非常適合僅留存了有限錄音的失音者。

事實上，TTS 的應用正在因技術進步而不斷增長：

• 在幾毫秒內運行端到端 TTS 流程，以實現自然互動。

• 在推斷時自定義 AI 模型和流程，以產生具有表現力的合成語音。

• 部署在所有云、數據中心、邊緣或嵌入式設備上。

本文將說明語音合成系統如何運作，然后介紹 TTS 技術的常見用途和新用途。

語音合成系統如何工作

顧名思義，文本轉語音或語音合成是將書面文本轉換成自然、類似人類的語音音頻的過程。在端到端 TTS 流程中用于實現這一轉換的關鍵模型和模塊包括：

• 文本規范化和預處理：將數字和縮略語變成文字。

• 文本編碼：將文本轉換為輸入到聲譜圖生成器的編碼向量。

• 聲譜圖生成器：從編碼文本向量中生成聲譜圖。

• 語音編碼器模型：輸入聲譜圖并生成一個人們可以聽到的合成語音。

一般來說，TTS 是虛擬助手、數字人和服務機器人等應用的最終階段。

常見的 TTS 應用

2021 年 IDC 對話式 AI 采用情況調查共調研了 251 家公司，其中 74.5% 在語音對話式 AI 解決方案中使用 TTS，68.5% 在無障礙解決方案中使用 TTS（圖 1）。

圖 1. IDC 關于常見 TTS 用例的調查

語音合成的功能用途正得到許多行業的認可，人們可能已經看到過以下 TTS 技術用例。

虛擬網紅

虛擬網紅正在改變未來與企業或名人溝通的方式。虛擬網紅也稱為虛擬品牌大使或品牌代言人，它們可以協助公司推廣產品和服務，名人也可以通過它們與粉絲保持全天候的聯系。

在這些用例中 TTS 技術生成了自定義聲音，然后被整合到動畫虛擬網紅或數字大使身上。

文本敘述

文本敘述能夠大聲朗讀所有類型的文本。這項 TTS 功能可用于網站及閱讀類應用，為喜歡音頻類節目的人帶來了福音。有視覺障礙的人也可以使用文字敘述聽到他們喜歡的內容。

TTS 用于在這些應用程序上將文本轉換成語音并朗讀出來。但這項工作并不像表面上那么簡單。為了提升收聽體驗，此類應用的聲音必須抑揚頓挫、富有節奏和表現力。

常見的語音轉文本準確性問題

對于生活在現代社會的人來說，最流行和具有吸引力的媒介莫過于音頻和視頻內容。TTS 技術可以幫助內容創作者為視頻配音或創建播客。

為了獲得更多的受眾，創作者還可以使用 TTS 技術將博客、新聞文章等文本內容轉換成音頻。

TTS 的使用十分靈活，用戶可以在變聲器等應用中改變語音的音調、節奏和音量，使聲音變得更具表現力。

獨特的 TTS 應用

除了這些日常應用外，企業家們正在探索各種新穎的 TTS 應用。下文將介紹開發獨特語音合成技術的公司。

用于智慧醫院的語音通知亭：Artisight

Artisight 是一個應用于醫院的物聯網傳感器網絡，可改善醫院的運營、財務業績和患者體驗。該公司幫助美國許多頂尖醫院提高運營效率，同時通過任務自動化給患者帶來更好的體驗，比如呼叫患者到掛號窗口和化驗等。

醫院可以使用 TTS 技術與患者和訪客分享有關醫院服務、設施位置和一般健康公告的信息。該技術也可以使用多種語言幫助可能不會說醫院當地語言的人。

視頻 1. Artisight “診所協調員”解決方案演示

上面的視頻演示了醫院通知亭的文字轉語音技術如何讀出患者排隊單上的號碼。

挑戰和解決方案

過去，醫院接待人員需要手動登記患者信息并在輪到患者就診時通知他們。這種耗時的登記流程降低了醫院的效率和患者的滿意度。

Artisight 開發的語音簽到、通知亭等智慧醫院解決方案可提升患者的體驗。

Artisight 和 NVIDIA Riva 賦能的通知亭實現了有效、快速的患者登記流程，將等待時間縮短了一半并避免了數據輸入錯誤，最終提高了員工的工作效率和患者的滿意度。

為數字虛擬形象提供類似人類聲音：NVIDIA

TTS 技術使計算機能夠將書面文字轉換成語音，進而讓數字人能夠“開口說話”并以更加自然、有代入感的方式與用戶交流。

為了取得用戶的信任，數字人所說的話必須高度準確，尤其是當它們被用于教育、娛樂或其他互動用途時。使用 TTS 技術生成自然、類似人類的語音可以幫助數字人吸引用戶的注意力和興趣。

正如 NVIDIA Omniverse Avatar Cloud Engine（ACE）演示所示，AI 虛擬形象Toy Jensen 能夠理解黃仁勛的問題并作出自然的回答。Toy Jensen 的聲音使用 NVIDIA Riva 創建。

視頻 2. 用于構建實時、交互式 AI 助手的 NVIDIA Omniverse ACE 平臺

挑戰和解決方案

開發用于數字人的 TTS 可能有一定的難度，尤其是在創造自然、真實的語音方面，并且難度取決于地區和語言。這是因為使用傳統和統計算法創建的 TTS 系統可能導致語音聽起來像是機器人或機械發出的，而用戶對此可能不會“買賬”。

此外，由于 TTS 系統受數據集、所使用的模型和模塊類型等諸多因素影響，因此要為數字人應用創建靈活的自適應語音具有一定的難度。這使開發者難以生成具有細微差別和富有表現力的語音。

最后，數字人需要在不犧牲質量的情況下實時生成大量語音，因此創建高效、可擴展的 TTS 系統至關重要。

NVIDIA 為數字人和虛擬形象生成了自定義語音，比如使用 Riva 生成的 Toy Jensen 和 Violet。Riva 可幫助開發只需短短幾毫秒就能實時運行且精準的 TTS 流程，滿足實現自然語音的必要條件，還可以靈活調整音調、持續時間和音量等，使生成的聲音更具表現力。

開始使用語音合成

用戶現在就可以開始將 TTS 功能集成到應用中，例如閱讀內容或生成數字網紅獨特聲音等。NVIDIA Riva 等 SDK 可以幫助用戶開發出提供高準確度并進行高性能推理的應用。

點擊“閱讀原文”試用 NVIDIA Riva TTS。

掃描下方海報二維碼，觀看 NVIDIA 創始人兼 CEO 黃仁勛在 COMPUTEX 2023 的主題演講直播回放，主題演講中文字幕版已上線，了解 AI、圖形及其他領域的最新進展！