NVIDIA 研究人員正在與世界各地的學術機構合作，推進生成式 AI、機器人和自然科學領域的進步。在全球頂級 AI 會議之一 NeurIPS 上，NVIDIA 將介紹其中的十幾個項目。

NeurIPS 大會將于太平洋時間 12 月 10 日至 16 日在新奧爾良舉行，匯集了生成式 AI、機器學習、計算機視覺等領域的專家。在此次大會上，NVIDIA Research 將展示一系列創新，包括將文本轉化為圖像、將照片轉化為 3D 化身，以及將專用機器人轉化為多功能機器的新技術。

NVIDIA 學習和感知研究副總裁 Jan Kautz 表示：“NVIDIA Research 繼續推動該領域的進步，包括將文本轉化為圖像或語音的生成式 AI 模型、更快地學習新任務的自主 AI 代理，以及計算復雜物理學的神經網絡。這些項目通常與學術界的領軍人物合作完成，將有助于加速虛擬世界、模擬和自主機器的開發。”

轉換為圖像：

改進文本到圖像擴散模型

對于將文本轉化為逼真的圖像，擴散模型已經成為最流行的生成式 AI 模型。NVIDIA 的研究人員與多所大學合作了多個推進擴散模型發展的項目，并將在 NeurIPS 上進行展示。

• 一篇口頭報告論文重點研究讓生成式 AI 模型更好地理解文本提示中修飾詞和主體之間的聯系。當要求現有文本生成圖像模型生成一個黃色西紅柿和一個紅色檸檬時，其可能會生成錯誤的黃色檸檬和紅色西紅柿，但新新模型可以分析用戶提示詞的語法，鼓勵在主體與其修飾符之間建立聯系，從而更忠實地對文本提示詞進行視覺描述。

  了解更多信息，請查閱：https://neurips.cc/virtual/2023/oral/73870

• SceneScape 是一個使用擴散模型根據文本提示詞創建 3D 場景長視頻的新框架，其將在會議上以海報的形式進行展示。該項目將文本生成圖像模型與深度預測模型相結合，有助于視頻中看似合理的場景在連續的幾幀中保持不變——生成美術館、鬼屋和冰雪城堡視頻。

  了解更多信息，請查閱：https://neurips.cc/virtual/2023/poster/71859

• 另一個海報描述了如何讓文本生成圖像模型更好地生成那些通常在訓練數據中罕見的概念。嘗試生成這樣的圖像通常會導致低質量的視覺效果，不能完全匹配用戶的提示詞。新方法使用了一小組示例圖像，幫助模型識別好的種子——隨機數序列，引導 AI 從指定的稀有類中生成圖像。

  了解更多信息，請查閱：https://neurips.cc/virtual/2023/poster/70922

• 第三個海報展示了文本生成圖像擴散模型如何使用不完整點云的文本描述來生成缺失部分，并創建物體的完整 3D 模型。這可能有助于完善激光雷達掃描儀和其他深度傳感器收集的點云數據，用于機器人和自動駕駛汽車 AI 應用。收集的圖像通常是不完整的，因為物體是從特定角度掃描的。例如，當汽車沿街行駛時，安裝在車上的激光雷達傳感器只會掃描每棟建筑的一側。

  了解更多信息，請查閱：https://neurips.cc/virtual/2023/poster/70648

角色開發：AI 化身的進步

AI 化身結合了多個生成式 AI 模型來創建虛擬角色并做成動畫、生成文本并將其轉化為語音。NeurIPS 大會上的兩個 NVIDIA 海報展示了可以提高這些任務效率的新方法。

• 其中一個海報描述了一種新方法，可以將一張肖像圖轉化為 3D 頭像，同時捕捉發型和配飾等細節。不同于當前需要多張圖像并且優化過程需要較長時間的方法，該模型在推理過程中無需額外優化即可實現高保真度的 3D 重建。這些頭像可以通過混合形狀（blendshapes）做成動畫，混合形狀是 3D 網格表示，用于表示不同的面部表情。這些頭像也可以使用參考視頻剪輯做成動畫，視頻中人的臉部表情和動作會應用于頭像。

  了解更多信息，請查閱：https://neurips.cc/virtual/2023/poster/72615

• 另一個海報介紹了 NVIDIA 研究人員和大學合作者使用 P-Flow 模型來開展零樣本文本到語音合成。P-Flow 是一種生成式 AI 模型，可以在給出三秒參考提示的情況下快速合成高質量的個性化語音。與近期最先進的同類模型相比，P-Flow具有更好的發音、擬人度和說話者相似度。只需一個 NVIDIA A100 Tensor Core GPU，該模型就能即刻將文本轉化為語音。

  了解更多信息，請查閱：https://pflow-demo.github.io/projects/pflow/

強化學習、機器人研究領域的突破

在強化學習和機器人領域，NVIDIA 的研究人員將帶來兩個海報，著重介紹提高 AI 在不同任務和環境中的通用性的創新技術。

• 第一個海報提出了一個用于開發強化學習算法的框架，該框架可以適應新任務，同時避免常見的梯度偏差和數據低效陷阱。研究人員表明，他們的方法采用新穎的元算法，可以創建任何元強化學習模型的魯棒版本——在執行多個基準測試任務時表現優秀。

  了解更多信息，請查閱：https://neurips.cc/virtual/2023/poster/72040

• 另一個海報介紹了 NVIDIA 研究人員和大學合作者解決了機器人進行物體操控的挑戰。此前，那些幫助機器人用手拾取物體并與之交互的 AI 模型可以處理特定的形狀，但難以處理訓練數據中未出現過的物體。研究人員引入一個新的框架，該框架可以估計各類物體在幾何上的相似性，例如擁有相似把手的抽屜和鍋蓋，從而使該模型能夠更快地推廣到新的形狀。

  了解更多信息，請查閱：https://neurips.cc/virtual/2023/poster/71709

推動科學飛速發展：

AI 加速物理、氣候、醫療

在 NeurIPS 大會上，NVIDIA 研究人員還將發表涉及多個自然科學領域的論文，涵蓋物理模擬、氣候模型和醫療 AI。

• 為了加速大規模 3D 模擬的計算流體動力學，NVIDIA 的一個研究團隊提出了一種神經算子架構，該架構在估計車輛周圍的壓力場時實現了高精度和高計算效率。這是行業標準的大規模汽車基準測試中第一個基于深度學習的計算流體動力學方法。與另一個基于 GPU 的求解器相比，該方法在單個 NVIDIA Tensor Core GPU 上實現了 10 萬倍的加速，同時降低了錯誤率。研究人員可以使用開源的神經算子庫，將該模型整合到自己的應用程序中。

  了解更多信息，請查閱：https://neurips.cc/virtual/2023/poster/72670

• 來自大學、國家實驗室、研究所、Allen AI 和 NVIDIA 的氣候科學家和機器學習研究人員組成了一個聯盟，合作開發了大規模數據集 ClimSim，用于物理學和基于機器學習的氣候研究。這個數據集將在 NeurIPS 大會上的口頭報告中進行分享，其中包含多年高分辨率的全球數據。使用這些數據構建的機器學習模擬器可以集成至目前正在使用的氣候模擬器中，以提高其保真度、準確性和精度。這可以幫助科學家更好地預測風暴和其它極端事件。

  了解更多信息，請查閱：https://neurips.cc/virtual/2023/poster/73569

• NVIDIA Research 的實習生制作的一個海報介紹了一種 AI 算法，可以個性化地預測藥物劑量對患者的影響。利用真實數據，研究人員測試了該模型對患者接受不同劑量時的凝血情況預測。他們還分析了新算法對接受藥物治療的患者體內抗生素萬古霉素濃度的預測。結果發現，與以前的方法相比，新算法的預測準確性顯著提高。

  了解更多信息，請查閱：https://neurips.cc/virtual/2023/poster/71940

NVIDIA Research 由全球數百名科學家和工程師組成，團隊專注于 AI、計算機圖形學、計算機視覺、自動駕駛汽車、機器人學等領域的研究。點擊閱讀原文，了解更多信息。