自然語言理解（NLU）和語言翻譯是一系列重要應用的關鍵，包括大規模識別和刪除有害內容，以及連接世界各地不同語言的人們。盡管近年來基于深度學習的方法加速了語言處理的進展，但在處理大量標記訓練數據不易獲得的任務時，現有系統的處理水平仍然是有限的。

因此，Facebook 聯合 Deepmind Technologies、紐約大學（NYU）及華盛頓大學（UW）合作構建新基準 SuperGLUE，并發布了相關內容介紹該高難度測試基準。

SuperGLUE 推出背景

最近，Facebook 人工智能在 NLP 方面取得了重大突破。Facebook 通過使用半監督和自監督學習技術，利用未標記的數據來提高純監督系統的性能。

在第四屆機器翻譯大會（WMT19）比賽中，Facebook 采用了一種新型的半監督訓練方法，并在多種語言翻譯任務中獲得了第一名。Facebook 還引入了一種新的自我監督的預訓練方法——RoBERTa。它在一些語言理解任務上超過了所有現有的 NLU 系統。在某些情況下，這些系統甚至優于人類基線，包括英德翻譯和五個 NLU 基準。

在整個自然語言處理領域，NLU 系統的發展速度如此之快，以至于它在許多現有的基準上已經達到了一個極限。為了繼續提高技術水平，Facebook 與 Deepmind Technologies、紐約大學及華盛頓大學合作開發了一套全新的基準、排行榜和 PyTorch 工具包（https：//jiant.info/），Facebook 希望這些成果將進一步推動自然語言處理領域的研究進展。

簡而言之，這些新工具將幫助人類創建更強大的內容理解系統，而且能夠翻譯數百種語言，理解諸如含糊不清、共同引用和常識性推理等復雜的問題，從而減少現有的這些系統對大量標記訓練數據的依賴性。

翻譯準確性的突破

對于神經機器翻譯（NMT）模型，有監督式訓練通常需要大量附有參考翻譯的句子。然而，大量高質量的雙語數據并不是普遍可用的，這就要求研究人員使用沒有參考翻譯的單語數據。反向翻譯（Back translation，一種半監督學習技術）允許 Facebook 在一定程度上克服這個問題。

Facebook 最近提交給 WMT 的報告是基于 Facebook 之前在大規模反向翻譯方面的工作，這也幫助 Facebook 在去年的同一比賽中贏得了第一名。

而今年，Facebook 引入了一種新的方法，通過生成多個候選譯文，并選擇最能平衡正向、反向、流暢性三種不同模型分數的譯文，來進一步改進 Facebook 的反向翻譯系統。

正向模型的分數主要由候選翻譯在多大程度上捕捉了原句的意思來衡量；相反，反向模型的分數是通過查看模型能從候選譯文中重建出的句子準確性來評判；流暢性模型的分數根據候選翻譯流暢性來衡量，最后系統通過觀察大量的單語數據以自我監督的方式進行訓練；經過對這三個分數的平衡，系統就能夠產生顯著優化后的翻譯結果。

經過幾年的努力，Facebook 將英-德語翻譯任務的性能提高了 4.5 BLEU（衡量生成的翻譯和專業參考之間重疊程度的指標），這是一個很大的改進。根據人工評估，Facebook 的模型在英-德、德-英、英-俄，和俄-英四個翻譯任務中排名第一。根據 WMT 賽制的評判，Facebook 的英-德語翻譯甚至比人工翻譯更佳。

圖 1 Facebook 引入的一種新方法

上面的圖片展示了這種技術是如何工作的：首先，一個正向模型將一個句子翻譯成英語，例如從德語翻譯成英語，就會生成一組英語翻譯或假設。然后，一個反向模型將這些英語假設翻譯回德語，使系統能夠評估每個英語翻譯與原始德語句子的匹配程度。最后，一個語言模型來判斷英語翻譯的流暢程度。

Facebook 還將訓練擴展到了更大的數據集，包括大約 100 億個單詞用于英語到德語翻譯的詞匯。與去年相比，Facebook 使用了兩倍多的單語數據進行半監督訓練，進一步提高了翻譯的準確性。更多詳情，可以參考 Facebook 人工智能在 2019 年 WMT 國際機器翻譯大賽中的表現（https：//ai.facebook.com/blog/facebook-leads-wmt-translation-competition/）。

自監督預訓練方法的改進

Facebook 最近對自然語言處理（NLP）的最大突破——BERT， 也進行了優化和改進。Google 在 2018 年發布了 BERT。它是革命性的，因為它展示了自監督訓練技術的潛力，它具有與傳統的標簽密集型監督方法的性能相媲美甚至超越它的能力。例如，Facebook 利用 BERT 和相關方法推動對話型人工智能領域的前沿研究，改進內容理解系統，提高低資源和無監督的翻譯質量。

因為 Google 開源了 BERT，Facebook 才能夠進行一項復制研究，并確定進一步提高其有效性的設計變更。Facebook 引入了穩健優化的 BERT 預訓練方法，即 RoBERTa，并取得了新的最先進進展。

RoBERTa 修改了 BERT 中的關鍵超參數，包括刪除 BERT 的下一個句子的預訓練目標，并使用更大的批量和學習率進行訓練。與 BERT 相比，RoBERTa 的數據總量要多 10 倍以上，因此訓練時間也要長得多。這種方法在廣泛使用的 NLP 基準測試、通用語言理解評估（GLUE）和閱讀理解考試（RACE）上產生了最先進的結果。

圖 2 圖表展示了 RoBERTa 在不同任務中的結果

憑借平均得分 88.5 分，RoBERTa 贏得了 GLUE 排行榜的榜首位置，與之前第一名——平均得分為 88.4 分的 XLNet-Large 表現不相上下。RoBERTa 還在一些語言理解基準測試水平上實現了提高，包括 MNLI、QNLI、RTE、STS-B 和 RACE 任務。

這一部分就是 Facebook 不斷致力于提高不太依賴于數據標記的自監督系統的性能和潛力的內容。有關 RoBERTa 的更多詳細信息，請參考‘RoBERTa：預訓練自監督 NLP 系統的優化方法（https：//ai.facebook.com/blog/roberta-an-optimized-method-for-pretraining-self-supervised-nlp-systems/）’。

NLP 研究的下一個前沿

作為衡量研究進展的行業標準，GLUE 旨在覆蓋大量的 NLP 任務，因此只有構建足夠通用的工具來幫助解決大多數新的語言理解問題，才能得到良好的表現。

在發布后的一年內，幾個 NLP 模型（包括 RoBERTa）已經在 GLUE 基準測試中超過了人類。目前的模型已經提出了一個令人驚訝的有效方法，它將大型文本數據集上的語言模型預訓練與簡單的多任務和轉移學習技術進行了結合。

這種快速的進步是大型人工智能社區內協作的一個功能。上面描述的 NLP 競賽、基準測試和代碼發布使模型復制，改進和最先進結果的更快進步成為可能。隨著 GPT 和 BERT 的引入，GLUE 的模型性能急劇提升，現在最先進的模型已經超越了人類的能力，如圖 3 所示：

圖 3 最先進的自然語言處理模型能力已經超越人類

盡管目前的模型可以在特定的 GLUE 任務上超越人類水平的性能，但它們還不能完美地解決人類解決的一些任務。為了給 NLP 研究設定一個新的更高的標準，facebook 人工智能團隊與紐約大學、deepmind 以及華盛頓大學合作構建了 SuperGLUE，這是一個具有全面人類基線的更高難度基準。Facebook 正在推出 SuperGlue，讓自然語言理解領域的研究人員能夠繼續推進最先進的技術。

SuperGLUE 基準測試

最初的基準和新的基準都是由紐約大學發起，與相同的合作伙伴合作創建。SuperGLUE 緊跟 GLUE 的腳步，GLUE 提供了單一的數字度量，用于總結不同 NLP 任務集的進度。除了新的基準之外，Facebook 還發布了一個用于引導研究的排行榜和 pytorch 工具包。

SuperGlue 包含了新的方法來測試一系列困難的 NLP 任務的創造性方法，這些任務主要關注機器學習一些核心領域的創新，包括樣本有效性、轉移、多任務和自監督學習。為了向研究人員提出挑戰，Facebook 選擇了格式多樣、問題更為微妙、尚未用最先進方法解決但容易被人們解決的任務。為了檢查這些任務，Facebook 為許多候選任務運行基于 BERT 的基線，并為人工基線收集數據。

新的基準測試包括八個不同且具有挑戰性的任務，其中包括選擇合理的替代方案（COPA），一個因果推理任務。在這個任務中，系統被賦予一個前提語句，并且必須從兩個可能的選擇中確定這個前提語句的因果。值得注意的是，人類在 COPA 上獲得了 100% 的準確率，而 BERT 只獲得了 74%，這表明 BERT 還有很大的進步空間。

其他獨特的前沿組件還包括用于測量這些模型中偏差的診斷工具。例如：winogender，它是為了測試在自動指代消解系統（automated co-reference resolution systems）中是否存在性別偏見而設計的。SuperGlue 還包括一個名為‘BoolQ’的問答（QA）任務，其中每個示例都由一個段落和一個關于該段落的是’或‘否’問題組成；它是自然問題基準測試中的一個很好的工具。

圖 4 該示例表示 SuperGlue 中八個任務中的 1 個。粗體文本表示每個任務示例格式的一部分；斜體文本是模型輸入的一部分；帶下劃線的文本在輸入中特別標記；等寬字體中的文本表示預期的模型輸出（更多示例請閱讀原文）

與 GLUE 類似，新的基準測試還包括一個圍繞自然語言理解任務構建的公共排行榜，它利用現有數據，并附帶一個單數字性能指標和一個分析工具包。

Facebook 最近針對新的基準測試了 RoBERTa，RoBERTa 在多語言閱讀理解（Multientence Reading Comprehension，MultiRC）任務中的表現超過了所有現有的 NLU 系統，甚至超過了人類在該任務上的基線。盡管如此，在許多 SuperGLUE 任務中，RoBERTa 與人類基線之間仍然存在很大差距，這說明了當今最先進的 NLU 系統的一些局限性。

圖 5 RoBERTa 在多語言閱讀理解任務中表現與其它方法的對比

下一步計劃

為了進一步挑戰人工智能系統能為人類提供的幫助，Facebook 還引入了第一個長格式的問答數據集和基準測試，它要求機器提供長而復雜的答案——這是現有算法以前從未遇到過的挑戰。

目前的問答系統主要集中在一些瑣碎的問題上，比如水母是否有大腦。這項新的挑戰更進一步，要求機器對開放性問題進行深入的解答，例如‘沒有大腦，水母如何工作？’現有的算法與人類的表現相去甚遠，這一新的挑戰將促使人工智能合成來自不同來源的信息，為開放式問題提供復雜的答案。

近期，Facebook 還公布了來自 35 個國家的 115 份獲獎提案中的 11 份，并宣布成立人工智能語言研究聯盟 （AI Language Research Consortium），這是一個由合作伙伴組成的社區，Facebook 表示將‘共同努力，推進 NLP’。

除了與 Facebook 的研究人員就多年項目和出版物進行合作外，人工智能語言研究聯盟的成員還有機會獲得研究經費，參加年度研究講習班，參加重要的 NLP 會議。Facebook 表示：‘這些 NLP 和機器翻譯的研究獎項是我們長期目標的延續，我們希望這個聯盟，以及這些 NLP 和機器翻譯的研究獎項，會有助于加速 NLP 社區的研究。