在尋求人類智能人工智能的過程中，Meta將賭注押在了自監督學習上。

Meta的首席人工智能科學家Yann LeCun并沒有忘記他的遠大目標，即使在談到此時此地的具體步驟時也是如此 —— “我們想建造像動物和人類一樣學習的智能機器，”LeCun在一次采訪中告訴IEEE Spectrum。

近幾年，Meta發表了一系列關于AI系統自監督學習（self-supervised learning，SSL）的論文。而SSL與監督學習相反，在監督學習中，人工智能系統從標記的數據集學習（標簽充當教師，在人工智能系統檢查其工作時提供正確答案）。LeCun經常談到他堅信SSL是人工智能系統的必要先決條件，人工智能系統可以構建“世界模型”，因此可以開始獲得類似人類的能力，例如理性、常識，以及將技能和知識從一個環境轉移到另一個環境的能力。目前的新論文展示了一個稱為掩碼自動編碼器（masked auto-encoder，MAE）的自監督系統如何從非常零散和不完整的數據中重建圖像、視頻甚至音頻。雖然MAE并不是一個新概念，但Meta已經將這項工作擴展到了新的領域。

LeCun說，通過找出如何預測靜態圖像、視頻或音頻序列中的缺失數據，MAE系統必須構建一個世界模型。他說：“如果它能預測視頻中會發生什么，它就必須了解世界是三維的，一些物體是無生命的，不會自己移動，其他物體是有生命的，更難預測，直到能夠預測有生命的人的復雜行為。” 一旦人工智能系統有了一個精確的世界模型，它就可以使用該模型來規劃行動。

“智力的本質是學會預測，”LeCun說。雖然他并沒有聲稱Meta的MAE系統接近人工通用智能，但他認為這是重要的一步。

并不是每個人都同意Meta研究人員在人類智能水平的正確道路上。，圖靈獎得主LeCun，Geoffrey Hinton，和Yoshua Bengio還因為深度神經網絡的發展而備受贊譽，Yoshua Bengio有時還與LeCun就人工智能的重大思想進行友好的辯論。在給IEEE Spectrum的一封電子郵件中，Bengio闡述了他們目標中的一些差異和相似之處。

“我真的不認為我們目前的方法（自我監督或不自我監督）足以彌合人類水平的智力差距，”Bengio寫道。他補充說，要真正將最先進的技術推向更接近人類規模的人工智能，需要在該領域取得“質的進步”。

雖然他同意LeCun的觀點，即對世界進行推理的能力是智力的關鍵要素，但Bengio的團隊并不專注于能夠預測的模型，而是那些能夠以自然語言形式呈現知識的模型。他指出，這樣一個模型“將允許我們結合這些知識來解決新問題、進行反事實模擬或研究可能的未來”。Bengio的團隊開發了一種新的神經網絡框架，該框架具有比LeCun更為模塊化的特性，LeCun的團隊正在進行端到端學習（學習初始輸入階段和最終輸出結果之間的所有步驟的模型）。

The transformer craze

Meta的MAE工作建立在一種稱為transformers的神經網絡架構的趨勢上。Transformers最初被應用于自然語言處理，在自然語言處理中，它使谷歌的BERT和OpenAI的GPT-3等模型的性能大幅提升。Meta AI研究員Ross Girshick表示，transformers在語言方面的成功使計算機視覺社區的人們在自己的領域“狂熱地工作，試圖復制這些結果”。

Meta的研究人員并不是第一個成功地將transformers應用于視覺任務的人；Girshick說，谷歌對視覺轉換器（Vision Transformer，ViT）的研究啟發了Meta團隊。他告訴Spectrum：“通過采用ViT架構，它消除了阻礙一些想法實驗的障礙。”

Girshick與Meta合著了關于MAE系統的第一篇論文，該論文涉及靜態圖像。它的訓練類似于BERT和其他語言transformers的訓練。這樣的語言模型顯示了巨大的文本數據庫，其中有一小部分文字缺失或“被屏蔽”。這些模型試圖預測缺失的單詞，然后揭開缺失的文本，這樣模型就可以檢查它們的工作，調整它們的參數，然后用新的文本塊重試。Girshick解釋說，為了對視覺進行類似的處理，研究小組將圖像分割成小塊，掩蓋一些小塊，并要求MAE系統預測圖像中缺失的部分。

該團隊的突破之一是認識到，掩蓋大部分圖像可以獲得最佳效果，這language transformers的關鍵區別在于，在language transformers中，可能有15%的文字可能被掩蓋。Girshick說：“語言是一個極其密集和高效的交流系統。每個符號都有很多含義。但圖像是來自自然界的信號，它們的構造并不是為了消除冗余。這就是為什么我們在創建JPG圖像時可以很好地壓縮東西。”

?

Girshick解釋說，通過掩蓋圖像中75%以上的補丁，他們消除了圖像中的冗余，否則會使任務變得過于瑣碎，無法進行訓練。他們的兩部分MAE系統首先使用編碼器學習訓練數據集中像素之間的關系，然后解碼器盡最大努力從屏蔽版本重建原始圖像。完成此訓練方案后，還可以對編碼器進行微調，以執行分類和目標檢測等視覺任務。

“最終我們感到興奮的原因是我們在將學習轉移到下游任務中看到的結果，”Girshick說。當使用編碼器進行物體識別等任務時，他說：“我們看到了非常可觀的收益；它們移動了指針。”他指出，擴展模型可以帶來更好的性能，這對于未來的模型來說是一個很有希望的跡象，因為SSL“有可能在不需要手動注釋的情況下使用大量數據”。

全力以赴學習大量未經處理的數據集可能是Meta改善SSL結果的策略，但這也是一種越來越有爭議的方法。人工智能倫理研究人員，如Timnit Gebru，已經提請注意大型語言模型學習的未經處理的數據集中固有的偏見，有時會帶來災難性的后果。

Self-supervised learning in video and audio

在用于視頻的MAE系統中，屏蔽遮擋了高達95%的每個視頻幀，因為幀之間的相似性意味著視頻信號比靜態圖像具有更多冗余。Meta研究員Christoph Feichtenhofer表示，MAE方法在視頻方面的一大優勢是，視頻通常具有很高的計算要求。但是，通過屏蔽高達95%的每一幀，MAE減少了高達95%的計算成本，他說。

這些實驗中使用的剪輯只有幾秒鐘長，但Feichtenhofer說，在更長的視頻上訓練人工智能系統是“一個非常活躍的研究課題”。想象一下，他說，一個虛擬助理有你家的視頻，可以告訴你一個小時前把鑰匙放在哪里了。

更直接地說，人們可以想象，圖像和視頻系統對于在Facebook和Instagram上進行內容調節所需的分類任務都很有用，Feichtenhofer說，“完整性”是一種可能的應用。“我們肯定是在和產品團隊談判，”他說，“但這是一個非常新的項目，我們還沒有任何具體的項目。”

對于音頻MAE工作，該團隊表示很快將發布在arXiv預印本服務器上，Meta AI團隊找到了一種巧妙的方法來應用掩蔽技術。他們將聲音文件轉換成頻譜圖，即信號中頻率頻譜的視覺表示，然后掩蓋這些圖像的部分內容進行訓練。重建的音頻令人印象深刻，盡管該模型目前只能處理幾秒鐘的剪輯。

從事音頻系統工作的Bernie Huang說，潛在的應用包括分類任務，通過填充數據包丟失時丟失的音頻來幫助IP語音通話，或者找到更有效的壓縮音頻文件的方法。

Meta一直在進行人工智能攻勢、開源研究，例如這些MAE模型，并為人工智能社區提供了一個經過預訓練的大型語言模型，用于研究目的。但批評人士指出，盡管在研究方面具有如此開放性，Meta并沒有將其核心商業算法用于研究那些控制新聞提要、推薦和廣告投放的算法。