你喜歡合成器驅動的樂隊，比如 Depche Mode 、 Erasure 或 Kraftwerk 嗎？你想過在家里用合成器創作自己的音樂有多酷嗎？如果在NVIDIA 的幫助下，這一過程能得到加強呢 Jetson 納米 ？

最新的 Jetson 本月最佳項目 已經找到了一種方法來實現這一點，將 Eurorack synthesizer 與 Jetson 納米結合起來，創造了 Neurorack 。這款音樂音頻合成器是第一款將深度生成模型的強大功能與 Eurorack 機器的緊湊性相結合的產品。

“這個項目的目標是設計下一代樂器，為音樂家提供一種新的工具，同時增強音樂家的創造力。它提出了一種新的思考和創作音樂的方法，”這些應用程序開發人員指出，他們是人工創造智能和數據科學（［about］ and compose music ，” noted the app developers ， who are members of Artificial Creative Intelligence and Data Science （ ACIDS ）小組的成員，總部設在法國巴黎的 IRCAM 實驗室。“我們深信人工智能可以用來實現這一目標。”

Neurorack 的實時功能依賴于 Jetson Nano 的處理能力和 尼農·戴夫的研究 制作訓練模型，這些模型在計算和內存占用方面都很輕。

“我們最初的夢想是找到一種方法，將深度模型小型化，并允許它們嵌入嵌入式音頻硬件和合成器中。由于我們對各種形式的合成器都充滿熱情，尤其是Eurorack，我們認為直接使用這種格式是有意義的，因為它更有趣Nano從一開始就是我們的首選…它讓我們能夠在不損失音質的情況下依賴深度模型，同時保持實時性限制，”Devis說。

開發商在接近該項目時有幾個關鍵的設計考慮，包括：

音樂性：選擇的生成模型可以產生不使用樣本就無法合成的聲音。

可控性：他們選擇的界面方便且易于操作。

實時性：硬件的行為就像傳統的合成器，并且同樣具有反應性。

獨立功能：無需電腦即可播放。

正如開發人員在他們的 NVIDIA 開發者論壇帖子 中提到的這個項目：“該模型基于一種改進的神經源濾波器架構，它允許基于描述符的打擊聲音實時合成。”

Neurorack 使用 PyTorch 深度音頻合成模型（見圖 1 ）生成通常需要樣本的聲音，易于操作，不需要單獨的計算機。

圖 1 ： diagram 顯示模塊的總體結構以及硬件和軟件（綠色）組件之間的關系。

硬件具有四個控制電壓（ CV ）輸入和兩個門（以及用于處理菜單的屏幕、旋轉和按鈕），它們都與特定的 Python 庫通信。這些控件（以及模塊本身）的行為高度依賴于嵌入的深層模型的類型。對于 Neurorack 的第一個版本，開發人員實現了一個基于描述符的沖擊聲音生成器，如他們的 GitHub 文檔 中所述。

Eurorack 的硬件和軟件是由 ACIS 團隊的 Ninon Devis 、 Philippe Esling 和 Martin Vert 共同開發的。根據他們 網站 的說法， ACIDS “一心想通過開發創新的人工智能模型來模擬音樂創造力。”

項目代碼和硬件設計是免費的、開源的，可在 GitHub repository 中獲得。

該團隊希望讓音樂家和對人工智能/嵌入式計算感興趣的人也能訪問該項目。

“我們希望這個項目能引起兩個社區的興趣！現在復制這個項目有點技術性，但我們將致力于簡化部署，希望能找到其他像我們這樣奇怪的人，” Devis 說。“我們堅信，為音樂開發機器學習模型的一個關鍵方面將導致賦予創造性表達能力，即使對非專家也是如此。”

兩名團隊成員 Devis 和 Esling 使用他們開發的樂器組建了一支樂隊。他們目前正在制作一部全長的真人秀，將以 Neurorack 為特色，并計劃在今年 4 月的下一場 法國綜合藝術節 中表演。

關于作者

Jason Black是 NVIDIA 的自主機器營銷和通信高級經理。作為過去 25 年的作家和編輯，他喜歡在流行語背后尋找故事的核心。看到機器人 MIG 把他帶到哪里，他很興奮。

審核編輯：郭婷