谷歌AI研究人員兼鋼琴演奏者PabloCastro正在開發一款可深度生成AI模型，讓音樂家與之合作即興創作音樂，以發掘人類即興音樂的特點，進而打破人類創造性的界限。

Castro在一支爵士樂隊PSCTrio中演奏鋼琴，他們在渥太華、蒙特利爾以及加拿大其他地區演出。他表示，“我們已經接受了很長時間的訓練，所以可以使用音樂訓練來創造性地發現更多的未知區域，這很可能會帶來新的音樂表現形式。

經典的音樂是音樂家主要的收入來源，但是長此以往音樂可能會變得無聊并且一塵不變。為了突破音樂創造的界限，Castro決心開發一款可深度生成AI模型，鼓勵音樂家通過即興創作來挖掘更加獨特的音樂。

GoogleBrain的Magenta項目中ML-Jam通過機器學習操縱音樂，意圖展現音樂即興創作的人格特征。ML-Jam利用了Magenta的DrumsRNN和MelodyRNN，有意將自己限制在預制模型中。

2016年6月，Google Brain就發布Magenta項目，該項目旨在讓電腦合成具有沖擊力、藝術性、并且充滿驚喜的音樂，但到目前為止，投入產出比并不理想。2016年9月，谷歌旗下的英國人工智能公司DeepMind發布了一項實驗的最終結果，該公司最初進行這項實驗完全是出于興趣。

DeepMind將鋼琴曲樣本放入WaveNet系統中以生成諸如演講類的音頻，雖然DeepMind并未披露該系統是如何運作合成音樂的，但該系統利用初始音頻所合成的一段10秒鐘的爵士樂頗為前衛。IBM也成立了一個名為“WatsonBeat”的研究項目，音樂家可以通過它來改變自己的曲風，使歌曲聽起來具有中東風格或者“幽靈風”。

Castro表示：“實質上，我想要做的是保持我的旋律，因為這反映了我演奏的方式，但要用模型制作的音符取代我本身的音符，達成所謂的混合即興創作。在自己的經歷中，這通常不是我自己能想到的節奏，因為這不是一種有機地適合我的節奏。但它通常會成為我感興趣的東西。

最近，Castro在北卡羅來納州夏洛特舉行的國際計算創新大會（ICCC）上發布了ML-Jam及其開源Python代碼。

據他所作的介紹，ML-Jam 的運作從一種確定性鼓槽開始。有人演奏低音提琴，并添加其他樂器，然后將凹槽發送到 DrumsRNN，以生成一個獨特的模型。然后，一個控制節奏模型的音樂家用 MelodyRNN 創作的旋律即興創作一個音樂短語。

研究人員使用 Python 的多線程使 ML-Jam 的推理在一個單獨的線程中運行，允許生成模型，然后在演出期間實時播放。由于生成一個模型可能會帶來不可預測的時間，所以音樂家必須在舞臺上使用他們未現場聽到的聲音。

Castro嘗試讓ML-Jam和他的爵士樂三人組一起演奏，但他們之間缺乏“化學反應”。所以，他計劃將AI融入他自己的音樂中。他的下一步計劃是使用ML-Jam或衍生系統為現場表演提供獨特內容。

他開始研究的這件事本質上就是個人秀，只有他和......即興創作圍繞的這項技術。過程中，ML-Jam 變得更加有機，讓他很感興趣的是，它迫使他以一種非常不同于平常的方式來處理作曲。

“我必須考慮它是否適用于我所使用的系統類型。它像鼓一樣使用一個循環，所以我必須有一些適合循環的東西，不會太重復，也不會很無聊，但仍然很適合這個想法……,所以每當我完成它的時候，無論從中得到什么，如果我沒有對我自己施加這些限制，那么 100％與我想出的任何東西都會非常不同。”

最近，音樂制作也涌現出了其他杰出AI模型包括Magenta的鋼琴精靈。上個月Flaming Lips在I / O表演舞臺上使用了一個名為Fruit Genie的鋼琴精靈版本。

Castro與AI的合作演奏可能會融入其他新穎的音樂模型，例如，Magenta音樂變換器可以制作鋼琴旋律以及OpenAI的MuseNet，都可以激發更多即興創作。 3月份，Google創建了一個以音樂轉換器驅動的工具，它可以從一個人選擇的鍵開始，然后生成聽起來巴赫風格的音樂。

Castro表示，音樂生成模型的全部意義在于探索人機合作的空間，因此這些合成音樂體現的是合作，而不是試圖采用外部構建的系統并將其放入人類創作的歌曲中。

“每首歌都探索一種不同類型的機器學習模型，它們不一定都是產生音樂的模型。我們的想法是看看如何將不同的機器學習技術整合到作曲或即興創作中，以一種產生音樂的方式，如果你沒有嘗試將這些機器學習技術整合進來，就不會產生這樣的音樂。”他說。

Castro將他的模型與其他模型區分開來，因為這款模型必須接受人工輸入才能操作。對于Castro來說，人的目的—由人的歷史和人性塑造—構成藝術的定義。

“對我來說，問題是’藝術與否？’真的歸結為’目的從何而來？’”他說。“我認為目前還沒有任何模式有任何目的。這是我把人放進去的原因。”

事實上，很多音樂家并不排斥AI的介入，反而把它們作為新的靈感。法國搖滾音樂家Mathieu Peudupi（常稱作Lescop）說：“如果沒用人工智能，我永遠無法創作這些歌曲，它帶領我進入了一個全新的境遇，這就像和樂隊成員一起創作一樣，雖然我會忽略樂隊成員大部分的建議，但在這個世界上哪有聽同伴建議的歌手？