近年來(lái)，從作曲到寫故事、再到制作模因字幕，AI在各個(gè)方面都展現(xiàn)出了創(chuàng)作天賦。如今，AI又將步入舞池，開(kāi)始AI模型在藝術(shù)表演上的全新嘗試。

在一部名為《離散人像》(discrete figures)的日本舞蹈表演作品中，一名 AI 舞者被投影到舞臺(tái)上，與一位真人舞者一起表演。這個(gè)節(jié)目還展示了一個(gè)部分訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)利用觀眾跳舞的錄像作為輸入數(shù)據(jù)生成表演視頻。

該作品由日本數(shù)字藝術(shù)團(tuán)體 Rhizomatiks、多媒體舞團(tuán) Elevenplay 和媒體藝術(shù)家 Kyle McDonald 共同合作完成，曾于去年在加拿大、美國(guó)、日本和西班牙進(jìn)行演出。

幕后的 AI 編舞

McDonald 是一位具有技術(shù)背景的藝術(shù)家。自 2010 年以來(lái)，他一直與舞者們合作，致力于營(yíng)造全新的視覺(jué)體驗(yàn)。用他的話說(shuō)，他是在“現(xiàn)實(shí)與虛擬的界限間舞蹈”。McDonald曾是紐約大學(xué)帝勢(shì)藝術(shù)學(xué)院的客座教授，并擁有倫斯勒理工學(xué)院電子藝術(shù)碩士學(xué)位。

McDonald 為《離散人像》邀請(qǐng)到八名舞者，記錄了每位舞者時(shí)長(zhǎng)2.5小時(shí)的即興舞蹈表演的動(dòng)作捕捉數(shù)據(jù)。利用NVIDIA GPU，這些訓(xùn)練數(shù)據(jù)被輸入一個(gè)名為“dance2dance”的神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)生成的動(dòng)作可被渲染成 3D 人物線條畫面。

如圖所示，投影的 AI 舞者與 Maruyama 共享舞臺(tái)。

在 AI 與舞蹈團(tuán)成員 Masako Maruyama 的雙人表演中，AI 被投影在舞臺(tái)上，生成一位3D的虛擬舞者，仿佛漂浮在 Maruyama 身邊。它開(kāi)始時(shí)是一個(gè)銀色輪廓，然后逐漸具化成Maruyama的分身。

虛擬舞者首先表演了由神經(jīng)網(wǎng)絡(luò)預(yù)先生成的舞蹈動(dòng)作，然后又表演了由舞蹈公司的編舞 Mikiko 編導(dǎo)的舞蹈。Maruyama 和 AI 舞者同步表演舞蹈動(dòng)作直到她離開(kāi)舞臺(tái)，之后投影逐漸恢復(fù)銀色輪廓，虛擬舞者重新跳起AI 生成的編舞。

人類創(chuàng)作的舞蹈動(dòng)作和 AI 生成的舞蹈動(dòng)作之間的互動(dòng)，道出了《離散人像》的主題。

McDonald 說(shuō)：“人類的意圖將終結(jié)于何處，自動(dòng)化又將始于何處？我認(rèn)為，對(duì)于這樣的問(wèn)題，觀眾將會(huì)開(kāi)始產(chǎn)生更多的疑問(wèn)。在一個(gè)由算法主宰一切的時(shí)代，提出這樣的問(wèn)題似乎也很合理。”

舞力全開(kāi)：觀眾縱情舞動(dòng)

在這部作品的另一個(gè)場(chǎng)景中，還使用了由 NVIDIA 研究團(tuán)隊(duì)研發(fā)的算法pix2pixHD，鼓勵(lì)觀眾參與到舞蹈表演當(dāng)中。

在每場(chǎng)表演開(kāi)始前，該團(tuán)隊(duì)都會(huì)首先邀請(qǐng) 16 名觀眾（不考慮年齡和舞蹈經(jīng)驗(yàn)）走上舞臺(tái)，在一塊黑色背景前錄制一段1分鐘的即興舞蹈。觀眾們的舞蹈視頻會(huì)被發(fā)送到云端的單個(gè)NVIDIA GPU進(jìn)行動(dòng)作評(píng)估，并從頭開(kāi)始訓(xùn)練 pix2pixHD 算法。

僅需要15分鐘的訓(xùn)練，該算法就能將每位觀眾的舞蹈生成一個(gè)輸出視頻。表演開(kāi)始前，McDonald 將這16段AI制作的視頻剪輯成蒙太奇效果的舞蹈視頻，并配上音樂(lè)，在表演過(guò)程中在投影屏幕上展示。

這部作品以觀眾跳舞的錄像作為輸入數(shù)據(jù)，展示了由部分訓(xùn)練的神經(jīng)網(wǎng)絡(luò)生成的蒙太奇視頻。（圖片由 Kyle McDonald 提供）

正如 McDonald 在一篇描述該作品的媒體文章中所提到的，利用觀眾的錄像，參與者可以體驗(yàn)“動(dòng)作被機(jī)器重新設(shè)計(jì)成動(dòng)作數(shù)據(jù)”。“整部作品始終都遵循著一個(gè)反復(fù)出現(xiàn)的主題：通過(guò)機(jī)器我們可以看到我們的人性，反之亦然。”

該場(chǎng)景還包括使用 3D Point Cloud 對(duì)神經(jīng)網(wǎng)絡(luò)的原始數(shù)據(jù)進(jìn)行可視化處理，生成舞者的骨架模型。

McDonald 說(shuō)：“當(dāng)我們看到 pix2pixHD 在經(jīng)過(guò)僅僅 15 分鐘的訓(xùn)練后所生成的視頻時(shí)，我們覺(jué)得這對(duì)舞臺(tái)表演來(lái)說(shuō)將會(huì)是完美的。因?yàn)檫@15 分鐘的訓(xùn)練過(guò)程準(zhǔn)確地體現(xiàn)了表演所要表達(dá)的一些主題，比如 AI 的出現(xiàn)，以及數(shù)字世界和現(xiàn)實(shí)世界之間界限的混淆。”