Facebook人工智能團隊日前介紹了一種由單個麥克風同時分離多達五種聲音的方法。所述方法在多個語音源分離基準（包括具有挑戰性的噪聲和混響的基準測試）測試中優于以往的方法。利用WSJ0-2mix和WSJ0-3mix數據集，以及通過四個和五個共時揚聲器的變體，模型在尺度不變信噪比（分離質量的常用度量）方面比當前最先進的模型提高了1.5 dB（分貝）以上。

為了建立所述的模型，團隊使用了一種直接作用于原始音頻波形的全新遞歸神經網絡結構。以前最好的模型主要是利用遮罩和解碼器來對每個說話人的聲音進行分類。當揚聲器數目較多或未知時，這類模型的性能會迅速下降。

與標準語音分離系統一樣，Facebook人工智能團隊的模型要求事先知道說話人的總數。但為了應對未知說話人數量所帶來的挑戰，研究人員構建了一個新的系統來自動檢測說話人數量，并選擇最相關的模型。

1. 工作原理

語音分離模型的主要目標是，當給定一個輸入混合語音信號時，估計輸入源并為每個說話人生成一個單獨信道輸出。

所述模型使用了一個將輸入信號映射到一個潛在表示的編碼器網絡。團隊應用一個由多個區塊組成的語音分離網絡，其中輸入為潛在表示，輸出為每個說話人的估計信號。以前的方法通常在執行分離時使用遮罩，但當遮罩未定義，并且在處理過程中可能丟失一定的信號信息時，問題就會出現。

研究人員通過置換不變訓練來訓練模型并利用多個損失函數直接優化信噪比。團隊在每個分離區塊后插入一個損失函數，從而進一步改進優化過程。最后，為了確保每個說話人一致地映射到特定的輸出信道，Facebook使用預先訓練的說話人識別模型來添加感知損失函數。

團隊同時構建了一個處理未知數量說話人的分離的新系統。對于新系統，其主要是通過訓練不同的模型來分離兩個、三個、四個和五個說話人。研究人員將輸入混合輸入輸入到設計為最多可容納5個共時說話人的模型中，以便它能夠檢測到當前活動（非靜止）信道的數量。然后，Facebook用一個訓練模型重復同樣的過程，并檢查是否所有的輸出信道都為活動。重復這個過程，直到所有信道都被激活，或者找到目標說話人數量最少的模型。

2. 意義

從多人對話中分離出單個語音的能力可以改善和增強我們通過各種應用實現的日常交流，例語音消息、數字助手和視頻工具，以及AR/VR語音交互創新。它同時可以提高需要聽力輔助的人群的體驗，這樣他們在擁擠嘈雜的環境中都能更清晰地聽到其他人地聲音，如聚會或餐廳等等。

除了分離不同的聲音之外，這個新系統同時可以應用于從混合聲音（如背景噪聲）中分離其他類型的語音信號。另外，這項研究可以應用到音樂錄音，改進以前從單一音頻文件分離不同樂器的研究。Facebook表示，下一步將致力于改進模型的生成屬性，直到它能夠在現實世界條件中實現高性能為止。