作者 | Video++極鏈科技AI實驗室張奕

整理 | 包包

背景

聲音和圖像是視頻中最重要的兩類基礎信息，能反映視頻中出現的主要內容。以往大量的視頻內容分析研究都是基于聲音和視覺特征來展開，其中很多研究工作會基于聲音視覺多模態特征來進行語義建模。人們清楚地意識到聲音和視覺特征直接存在著某種對應關系，因為當某種語義內容在視頻中出現時，其相應的視覺圖像和聲音必然相伴出現，那么該如何利用這個對應關系來幫助我們進行視頻語義內容分析與識別呢？

讓我們先來看看當前機器學習與視頻分析研究的痛點。機器學習按照對樣本的標注要求不同可分為有監督和無監督兩大類。隨著深度學習的興起，基于大量標注樣本訓練的深度網絡模型在各領域中都取得了遠超其它模型的準確率，確立了主流地位。但是這一方法最大的缺點是需要大量的標注樣本，樣本標注是一項很高成本的工作，需要耗費大量的人力資源，使人工智能成為真正基于“人工”的智能。在視頻內容分析領域，為了達到識別視頻內容的目的，也需要對視頻進行大量的樣本標注，這些標注包括目標、語義在時間空間上出現的位置、類別標簽等，非常繁瑣。如何能夠減少對標注數據的依賴一直是一個機器學習的重要研究方向。

回到先前的問題，既然視頻中的視覺和聲音之間存在著對應關系，那么是否可以用這個對應關系來解決數據的標注問題，從而減少對人工標注的依賴呢？DeepMind大膽的提出了這一設想，通過視覺和聲音的對應實現它們之間的互標注，不需要人工標注，就可以獲得大量的帶有自標注對應關系的聲音視覺樣本，提供給深度網絡進行訓練，從而實現視頻中相關事件的檢測識別。

方法

數據

以上網絡通過如下的方式產生正負樣本對：負樣本對來自于兩段不同視頻中隨機選取的圖像幀和聲音片段，正樣本對來自于聲音片段和同一視頻中對應該聲音時間中點處的圖像幀。訓練數據集規模為40萬段時長為10秒的視頻，來自于Flickr-SoundNet和Kinetics-Sounds數據集。

實驗結果

作者還給出了訓練聲音視覺對應網絡中得到的視覺子網絡和聲音子網絡模型在視覺分類和聲音分類任務中的性能，并與現有算法進行了比較。在聲音分類benchmark數據集ESC-50和DCASE上本文的聲音子網絡取得了最好的結果，如表2所示。圖像分類在benchmark數據集ImageNet上本文的視覺子網絡取得了與當前最好的自監督學習算法相同的結果，如表3所示。

通過以上網絡和學習方式，究竟學到了什么內容？作者給出了直觀的實例，選取視覺子網絡pool4層響應最高的各類的5個樣本（圖3），并將對應的conv_2層響應熱力圖顯示出來（圖4），可見網絡能夠在視覺概念相關區域獲得高響應，表明學習是有效的，并且該網絡對聲音源具有定位能力。

結論與討論

本文利用聲音視覺對應關系提出了一種深度網絡，可免除對樣本的標注，通過自監督學習，實現視頻內容的檢測分類。實驗表明其在聲音分類上的效果超越其他算法，在圖像分類上的效果與以往最佳自監督算法持平。

本文算法在聲音分類上的優異表現表明，視覺特征在聲音特征的相關性使其在描述聲音特征中起到了幫助作用。同時本文算法在圖像分類上的表現也表明聲音特征對圖像特征描述也存在有效的幫助。目前視覺特征僅采用了聲音片段對應的圖像序列中的一個采樣幀作為輸入，尚無法完全反映聲音和圖像之間在時間上的對應關系，如能利用聲音對應的整個圖像序列作為視覺輸入，將可能進一步利用聲音和視覺之間的并發性，提升模型效果。