NVIDIA 開發了一個全新的生成式 AI 模型。利用輸入的文本和音頻，該模型可以創作出包含任意的音樂、人聲和聲音組合的作品。

一個生成式 AI 研究團隊創造了一把如同瑞士軍刀般多功能的聲音工具，支持用戶只需使用文本就能控制輸出的音頻。

雖然一些 AI 模型可以譜曲或修音，但沒有一個能在靈活性上媲美這個新模型。

根據由任意的文本和音頻文件組合所構成的提示詞，這個名為 Fugatto（Foundational Generative Audio Transformer Opus 1 的縮寫）的模型，可以生成或轉換由任意的音樂、人聲和聲音所構成的作品。

例如，它可以根據文本提示創作音樂片段、在現有歌曲中刪除或添加樂器、改變人聲的口音或情緒，甚至讓人們發出從未聽過的聲音。

One Take Audio 公司是 NVIDIA 初創加速計劃的成員。該公司的聯合創始人、曾推出過多張白金唱片的制作人兼詞曲創作人 Ido Zmishlany 表示：“這太瘋狂了！聲音是我的靈感源泉，是我創作音樂的原動力。我可以在錄音室里隨心所欲地創造出全新的聲音，這完全突破了人們的想象。”

準確掌控音頻

NVIDIA 應用音頻研究經理 Rafael Valle 表示：“我們希望創建一個能夠像人類一樣理解和創作聲音的模型。”Rafael Valle 是 Fugatto 背后的十幾個開發者之一，同時也是一位管弦樂指揮家和作曲家。

Fugatto 可支持眾多音頻生成和轉換任務，是首個展現了新能力（即各種經過訓練的能力相互作用所產生的新能力）并能夠整合自由格式指令的基礎性生成式 AI 模型。

Valle 說：“Fugatto 是我們邁向未來的第一步。未來，音頻合成與轉換中的無監督多任務學習將從數據和模型規模中產生。”

使用場景示例

例如，音樂制作人可以使用 Fugatto 來快速地制作歌曲原型或編輯歌曲創意，嘗試不同的風格、人聲和樂器。他們還可以添加音效，提高現有曲目的整體音質。

Zmishlany 說：“音樂發展史也是一部技術發展史。電吉他為我們帶來了搖滾樂。采樣器的出現催生了嘻哈音樂。AI 正在開啟音樂的新篇章。這個新的音樂創作工具令人超級興奮。”

廣告公司可以使用 Fugatto，針對多個地區或多種情形快速地修改現有的營銷活動素材，在配音中采用不同的口音和情感。

通過使用說話者所選擇的任何人聲，語言學習工具可以實現個性化。試想一下，在線課程以某個家庭成員或朋友的特定聲音進行。

電子游戲開發人員可以使用該模型來修改游戲中預先錄制的音頻資料，以適應用戶玩游戲時不斷變化的行為。或者，他們可以根據文字說明和可選的音頻輸入來即時地創建新的音頻資料。

制造令人喜悅的聲音

Valle 說道：“在該模型中，特別讓我們引以為豪的是一個稱之為‘鱷梨椅’的功能。”鱷梨椅是一個由針對成像的生成式 AI 模型所創建的新穎的視覺效果。

例如，Fugatto 可以讓小號發出“汪汪”的狗叫聲，或者讓薩克斯管發出“喵喵”的貓叫聲。只要用戶能描述出來，該模型就能創造出來。

研究人員發現，只需微調和少量歌唱數據，它就可以處理未經預訓練的任務，比如根據文本提示來生成高質量的歌聲。

用戶獲得藝術控制權

除了這些新穎之處，Fugatto 還添加了多項功能。

在推理過程中，該模型使用一種名為 ComposableART 的技術，將訓練過程中只能單獨看到的指令組合在一起。例如，一組提示詞可以要求它用法語口音說出帶有悲傷情緒的文字。

該模型能夠在指令之間插入內容，這讓用戶能夠精細地控制文本指令。在這種情況下，用戶可以控制口音的輕重或悲傷的程度。

為該模型設計了相關功能的 AI 研究員 Rohan Badlani 表示：“我想讓用戶可以以主觀或藝術化的方式整合各種屬性，并能夠選擇他們對每個屬性的側重點。”

Badlani 說：“在我進行的測試中，結果常常出人意料，讓我覺得自己有點像藝術家，盡管我是一名計算機專家。”Badlani 擁有斯坦福大學計算機科學碩士學位，主攻人工智能。

這個模型還能生成隨著時間的推移而不斷變化的聲音，他把這種功能稱為時間插值。例如，它可以產生暴雨經過某個區域的聲音，雷聲逐漸增大，然后慢慢地消失在遠方。它還能讓用戶精細地控制聲景的演變。

此外，大多數模型只能重現它們所接觸過的訓練數據，而 Fugatto 則不同，它讓用戶能夠創建從未見過的聲景，例如雷雨隨著黎明的來臨逐漸停歇并伴隨著鳥鳴聲。

內在機理

Fugatto 是一個基礎性生成式 Transformer 模型，其源自該團隊之前在諸多領域的研究成果，例如語音建模、音頻聲音編碼和音頻理解等。

模型的完整版使用了 25 億個參數，并在一系列配備 32 塊 NVIDIA Hopper Tensor Core GPU 的 NVIDIA DGX 系統上進行了訓練。

Fugatto 是由一群來自印度、巴西、中國、約旦和韓國等世界各地的人員共同開發的。他們的通力合作使 Fugatto 的多口音和多語言功能更加強大。

在開發該模型的過程中，其中一項最困難的工作是生成一個混合數據集，該數據集包含了數百萬個用于訓練的音頻樣本。在生成數據和指令時，該團隊采用了多方面的策略，這大大地擴展了模型可執行的任務范圍，同時實現了更精準的性能，并且無需額外數據即可完成新任務。

這些開發人員還仔細地研究了現有數據集，以揭示數據之間的新關系。整個工作持續了一年多。

Valle 提到了兩個重要時刻，它們讓團隊意識到自己走在正確的路上。他說：“它第一次根據提示詞成功地生成音樂時，我們都驚呆了。”

后來，團隊演示了 Fugatto 根據提示詞而創作出電子音樂，其中的狗叫聲實現了與節拍同步。

“當大家捧腹大笑時，我的心里真的感到很溫暖。”