舞蹈是幾乎所有文化中的一種通用語言，也是如今許多人在當代媒體平臺上表達自己的一種方式。跳舞的能力（組織形成與音樂節拍一致的動作模式）是人類行為的一個基本方面。然而，舞蹈是一種需要練習的藝術形式。事實上，舞者若要創造極具表現力的編舞 （Choreography），就需要豐富的舞蹈動作，而這通常需要進行專業訓練。這個過程對人來說很困難，對機器學習 （ML） 模型來說則更具挑戰性，因為這項任務要求能夠產生具有高度運動學復雜性的連續動作，同時捕捉到動作和伴奏音樂之間的非線性關系。

在“ AIChoreographer：利用 AIST++ 生成音樂條件下的 3D 舞蹈 （AIChoreographer:Music-Conditioned 3D Dance Generation with AIST++） ”一文中（載于 ICCV 2021），我們提出了一個完整關注 （Attention） 跨模態轉換器 （FACT） 模型，此模型可以模仿和理解舞蹈動作，甚至可以提高用戶的編舞能力。提出該模型的同時，我們發布了一個大規模的多模態 3D 舞蹈動作數據集 AIST++，該數據集包含 5.2 小時的 3D 舞蹈動作，分為 1408 個序列，涵蓋了 10 種舞蹈類型，每個類型都包括從已知相機位置方向拍攝的多視角視頻。通過對 AIST++ 進行廣泛用戶研究，我們發現 FACT 模型無論在質量還是數量上都優于日前領先的方法。

我們提出了一個新穎的完整關注跨模態轉換器 （FACT） 網絡，可以在音樂和新的 3D 舞蹈數據集 AIST++（左）的條件下生成真實的 3D 舞蹈動作（右）

AIChoreographer：利用 AIST++ 生成音樂條件下的 3D 舞蹈

https://google.github.io/aichoreographer/

AIST++

https://google.github.io/aistplusplus_dataset/

我們根據現有的 AIST 舞蹈數據庫生成了建議的 3D 運動數據集，該數據集是一個有音樂伴奏的舞蹈視頻集合，但沒有任何 3D 信息。AIST 包含 10 種舞蹈類型：舊學派（霹靂、機械舞、鎖舞和威金）和新學派（Middle Hip-Hop、LA-style Hip-Hop、House、Krump、Street Jazz 和 Ballet Jazz）。雖然其中包含了舞者的多視角視頻，但這些相機并沒有經過校準。

為了實現目的，我們根據廣泛使用的 SMPL 3D 模型所使用的參數恢復了相機校準參數和 3D 人體動作。由此產生的數據庫 （AIST++） 是一個大規模的 3D 人類舞蹈動作數據集，包含了與音樂相配的各種各樣的3D 動作，每一幀都包含大量的注釋：

9 個相機內在和外在參數的視圖；

17 個 COCO 格式的人體關節位置（2D 和 3D 形式）；

24 個 SMPL 姿勢參數，帶有全局縮放和平移。

這些動作在所有的 10 種舞蹈類型中平均分布，涵蓋了以每分鐘節拍 （BPM） 為單位的各種音樂節奏。每種類型的舞蹈包含 85% 的基本動作和 15% 的高級動作（由舞者自由設計的較長編舞）。

AIST++ 數據集還包含多視角同步圖像數據，使其對其他研究方向（例如 2D/3D 姿勢預測）很有幫助。據我們所知，AIST++ 是截止目前最大的 3D 人類舞蹈數據集，包含 1408 個序列、30 個主題和 10 個舞蹈類型，并同時包含基本和高級的編舞。

由于 AIST 是一個教學數據庫，因此它記錄了在不同音樂和各種 BPM 下遵循相同編舞的多個舞者，這是舞蹈中常見的做法。這給跨模態序列到序列的生成帶來了獨特挑戰，因為該模型需要學習音頻和動作之間的一對多映射。我們在 AIST++ 上精心構建了不重疊的訓練和測試子集，以確保在子集之間編舞和音樂都不相同。

全注意力跨模態轉換器

（FACT） 模型

我們利用這些數據訓練 FACT 模型，以便根據音樂生成 3D 舞蹈。該模型首先使用單獨的動作和音頻轉換器對種子動作和音頻輸入進行編碼。然后，將嵌入向量串聯起來并發送給跨模態轉換器，該轉換器學習兩種模態之間的對應關系并生成 N 個未來動作序列。隨后利用這些序列以自我監督 （Self-supervised learning） 的方式來訓練模型。所有三個轉化器都是聯合學習的端到端。進行測試時，我們在一個自回歸 （GPT-3） 框架中應用這個模型，其中預測的動作充當下一個生成步驟的輸入。因此，FACT 模型能夠逐幀地生成長時間的舞蹈動作。

FACT 網絡接收一段音樂 （Y） 和一個 2 秒的種子動作序列 （X），然后生成與輸入音樂相關的長時間未來動作

FACT 涉及三個關鍵的設計選擇，對于根據音樂產生真實的 3D 舞蹈動作至關重要。

1. 所有的轉換器都使用完整關注掩碼，它比典型的因果模型更具表現力，因為內部令牌可以訪問所有輸入。

2. 我們訓練模型來預測當前輸入以外的 N 個未來動作，而不是僅僅預測下一個動作。這鼓勵網絡更多地關注時間背景，并有助于防止模型在幾個生成步驟后出現動作停滯或分歧。

3. 我們在早期融合了兩個嵌入向量（動作和音頻），并采用了一個深度的 12 層跨模態轉換器模塊，這對于訓練一個真正關注輸入音樂的模型至關重要。

結果

我們根據三個指標來進行性能評估：

動作質量：我們計算 AIST++ 測試集中的真實舞蹈動作序列和 40 個模型生成的動作序列之間的 Frechet Inception Distance （FID），每個序列有 1200 幀（20 秒）。我們將基于幾何和運動特征的 FID 分別表示為 FIDg 和 FIDk。

生成多樣性：與此前的研究類似，為了評估模型生成潛水舞蹈動作的能力，我們計算了 AIST++ 測試集上 40 個生成動作的特征空間中的平均歐氏距離，再次比較幾何特征空間 （Distg） 和運動特征空間 （Distk）。

動作與音樂的相關性：由于沒有設計良好的指標來衡量輸入音樂（音樂節拍）和生成的 3D 動作（運動節拍）之間的相關性，我們提出了一個新的指標，稱為節拍對齊得分 （BeatAlign）。

生成舞蹈動作的運動速度（藍色曲線）和運動節拍（綠色虛線），以及音樂節拍（橙色虛線）

提取運動節拍的方式是從運動速度曲線中找到局部最小值

定量評估

我們將 FACT 在這些指標方面的表現與其他最先進的方法進行比較。

我們還通過一項用戶研究，對動作與音樂的相關性進行了感知評估，在這項研究中，我們要求各位參與者觀看 10 個視頻，視頻中包含我們的一個成果和一個隨機的對照輸出，然后選擇哪個舞者與音樂更同步。這項研究包括 30 名參與者，從專業舞者到很少跳舞的人都有。與每個基線相比，81% 的人認為 FACT 模型的輸出優于 Li et al. 的輸出，71% 的人認為 FACT 優于 Dancenet，77% 的人認為它優于 Dance Revolution。有趣的是，75% 的參與者更喜歡未配對的 AIST++ 舞蹈動作，而不是 FACT 生成的動作，這并不奇怪，因為原始舞蹈動作具有高度表現力。

定性結果

與 DanceNet（左圖）和 Li et. al.（中圖）等之前的方法相比，使用 FACT 模型（右圖）生成的 3D 舞蹈更加逼真，與輸入音樂有更高的相關性。

結論和討論

我們提出的模型不僅可以學習音頻和動作的對應關系，還可以根據音樂生成高質量的 3D 動作序列。根據音樂生成 3D 動作是一個新興的研究領域，我們希望這項研究能夠為未來的跨模態音頻到 3D 動作生成鋪平道路。我們還發布了 AIST++，這是迄今為止最大的 3D 人類舞蹈數據集。本文提出的多視角、多類型、跨模態 3D 動作數據集不僅有助于有條件 3D 動作生成方面的研究，還可以幫助一般的人類理解研究。我們將在 GitHub 代碼庫中發布代碼，并在此處發布訓練好的模型。

雖然我們的研究結果為音樂條件下的 3D 動作生成問題指出了一個有前景的方向，但尚有更多可探索的空間。首先，我們的方法是基于運動學的，且我們沒有推理出舞者和地板之間的物理學相互作用。因此，全局平移可能會導致偽影，如腳部的滑動和懸浮。第二，我們的模型目前具有確定性。探索如何根據每段音樂產生多種真實舞蹈，這一研究方向極具潛力。

責任編輯：haq