去年有哪些機器學習重要進展是你必須關注的？聽聽 DeepMind 研究科學家怎么說。

2020 年因為新冠疫情，很多人不得不在家工作和學習，大量人工智能學術會議也轉為線上。不過在去年我們仍然看到了很多 AI 技術領域的進展。DeepMind 研究科學家 Sebastian Ruder 近日幫我們對去年的機器學習社區(qū)進行了一番總結。

首先你必須了解的是：這些重點的選擇基于作者個人熟悉的領域，所選主題偏向于表示學習、遷移學習，面向自然語言處理（NLP）。如果讀者有不同的見解，可以留下自己的評論。

Sebastian Ruder 列出的 2020 年十大機器學習研究進展是：

大模型和高效模型

語言模型從 2018 年到 2020 年的發(fā)展（圖片來自 State of AI Report 2020）。

2020 年發(fā)生了什么？

在過去的一年，我們看到了很多前所未有的巨型語言和語音模型，如 Meena（Adiwardana et al.， 2020）、Turing-NLG、BST（Roller et al.， 2020）和GPT-3（Brown et al.， 2020）。與此同時，研究人員們也早已意識到訓練這樣的模型要耗費過量的能源（Strubell et al.， 2019），并轉而探索體量更小、效果仍然不錯的模型：最近的一些進展方向來自于裁剪（（Sajjad et al.， 2020、Sanh et al.， 2020、）、量化（Fan et al.， 2020b）、蒸餾（Sanh et al.， 2019、Sun et al.， 2020）和壓縮（Xu et al.， 2020）。

另有一些研究關注如何讓 Transformer 架構本身變得更高效。其中的模型包括 Performer（Choromanski et al.， 2020）和 Big Bird（Zaheer et al.， 2020），如本文第一張圖所示。該圖顯示了在Long Range Arena 基準測試中不同模型的性能（y 軸）、速度（x 軸）和內存占用量（圓圈大小）（Tay et al.， 2020）。

像 experiment-impact-tracker 這樣的工具（Henderson et al.， 2020）已讓我們對于模型的能耗效率更為了解。其研究者還推動了評估效率的競賽和基準測試，如 EMNLP 2020 上的 SustaiNLP 研討會，NeurIPS 2020 上的 Efficient QA 競賽和 HULK（Zhou et al.， 2020。

模型體量的擴大可以讓我們不斷突破深度學習能力的極限。而為了在現(xiàn)實世界部署它們，模型必須高效。這兩個方向也是相輔相成的：壓縮大號模型可以兼顧效率和性能（Li et al.， 2020），而效率更高的方法也可以推動更強、更大的模型（Clark et al.， 2020）。

鑒于對效率和可用性的考慮，我認為未來研究的重點不僅僅是模型的表現(xiàn)和參數(shù)數(shù)量，也會有能耗效率。這會有助于人們對于新方法進行更全面的評估，從而縮小機器學習研究與實際應用之間的差距。

檢索增強

使用 REALM 進行無監(jiān)督預訓練，檢索器和編碼器經(jīng)過了聯(lián)合預訓練。

大規(guī)模模型可以利用預訓練數(shù)據(jù)學習出令人驚訝的全局知識，這使得它們可以重建事實（Jiang et al.， 2020）并在不接觸外界上下文的情況下回答問題（Roberts et al.， 2020）。然而，把這些知識隱式地存儲在模型參數(shù)中效率很低，需要極大的模型來存儲足量的信息。與之不同的是，最近的一些方法選擇同時訓練檢索模型和大規(guī)模語言模型，在知識密集型 NLP 任務上獲得了強大的結果，如開放域問答（Guu et al.， 2020、Lewis et al.， 2020）和語言建模（Khandelwal et al.， 2020）。

這些方法的主要優(yōu)點是將檢索直接集成到語言模型的預訓練中，從而讓語言模型效率更高，專注于學習自然語言理解中更具挑戰(zhàn)性的概念。因此在 NeurIPS 2020 EfficientQA 競賽中的最佳系統(tǒng)依賴于檢索（Min et al.， 2020）。

檢索是很多生成任務的標準方法，例如文本摘要和對話此前已大量被摘要生成所替代 （Allahyari et al.， 2017）。檢索增強生成可以將兩個方面的優(yōu)點結合在一起：檢索段的事實正確性、真實性以及所生成文本的相關性和構成。

檢索增強生成對于處理過去困擾生成神經(jīng)模型的失敗案例尤其有用，尤其是在處理幻覺（hallucination）上（Nie et al.， 2019）。它也可以通過直接提供預測依據(jù)來幫助使系統(tǒng)更易于解釋。

少樣本學習

Prompt-based 微調使用模板化的提示和演示（Gao et al.， 2020）。

在過去幾年中，由于預訓練的進步，給定任務的訓練樣本數(shù)量持續(xù)減少（Peters et al.， 2018、Howard et al.， 2018）。我們現(xiàn)在正處在可以使用數(shù)十個示例來完成給定任務的階段（Bansal et al.， 2020）。自然地，人們想到了少樣本學習變革語言建模的范式，其中最為突出的例子就是 GPT-3 中上下文學習的方法。它可以根據(jù)一些輸入 - 輸出對和一個提示進行預測。無需進行梯度更新。

不過這種方式仍然有其限制：它需要一個巨大的模型——模型需要依賴現(xiàn)有的知識——這個模型能夠使用的知識量受到其上下文窗口的限制，同時提示需要手工完成。

最近的一些工作試圖通過使用小模型，集成微調和自動生成自然語言提示（Schick and Schütze， 2020、Gao et al.， 2020、Shin et al.， 2020）讓少樣本學習變得更加有效。這些研究與可控神經(jīng)文本生成的更廣泛領域緊密相關，后者試圖廣泛地利用預訓練模型的生成能力。

有關這一方面，可以參閱 Lilian Weng 的一篇博客：

https://lilianweng.github.io/lil-log/2021/01/02/controllable-neural-text-generation.html

少樣本學習可以使一個模型快速承接各種任務。但是為每個任務更新整個模型的權重是很浪費的。我們最好進行局部更新，讓更改集中在一小部分參數(shù)里。有一些方法讓這些微調變得更加有效和實用，包括使用 adapter（Houlsby et al.， 2019、Pfeiffer et al.， 2020a、üstün et al.， 2020），加入稀疏參數(shù)向量（Guo et al.， 2020），以及僅修改偏差值（Ben-Zaken et al.， 2020）。

能夠僅基于幾個范例就可以讓模型學會完成任務的方法，大幅度降低了機器學習、NLP 模型應用的門檻。這讓模型可以適應新領域，在數(shù)據(jù)昂貴的情況下為應用的可能性開辟了道路。

對于現(xiàn)實世界的情況，我們可以收集上千個訓練樣本。模型同樣也應該可以在少樣本學習和大訓練集學習之間無縫切換，不應受到例如文本長度這樣的限制。在整個訓練集上微調過的模型已經(jīng)在 SuperGLUE 等很多流行任務中實現(xiàn)了超越人類的性能，但如何增強其少樣本學習能力是改進的關鍵所在。

對比學習

實例判別從同一個圖像的不同轉換之間比較特征（Caron et al.， 2020）。

對比學習是一種為 ML 模型描述相似和不同事物的任務的方法。利用這種方法，可以訓練機器學習模型來區(qū)分相似和不同的圖像。

最近，對比學習在計算機視覺和語音的自監(jiān)督表征學習（van den Oord， 2018; Hénaff et al.， 2019）中越來越受歡迎。用于視覺表征學習的新一代自監(jiān)督強大方法依賴于使用實例判別任務的對比學習：將不同圖像視為 negative pairs，相同圖像的多個視圖視為 positive pairs。最近的方法進一步改善了這種通用框架：SimCLR（Chen et al.， 2020）定義了增強型實例的對比損失；Momentum Contrast（He et al.， 2020）試圖確保大量且一致的樣本對集合；SwAV（Caron et al.， 2020）利用在線聚類；而 BYOL 僅使用 positive pairs（Grill et al.， 2020）。Chen 和 He （2020） 進一步提出了一種與先前方法有關的更簡單的表述。

最近，Zhao et al. （2020）發(fā)現(xiàn)數(shù)據(jù)增強對于對比學習至關重要。這可能表明為什么在數(shù)據(jù)增強不那么普遍的 NLP 中使用大型預訓練模型進行無監(jiān)督對比學習并不成功。他們還假設，實例判別比計算機視覺中的有監(jiān)督預訓練更好的原因是：它不會試圖讓一個類中所有實例的特征相似，而是保留每個實例的信息。在 NLP 中，Gunel et al. （2020）無監(jiān)督的預訓練涉及對成千上萬個單詞類型進行分類的問題不大。在 NLP 中，Gunel et al. （2020）最近采用對比學習進行有監(jiān)督的微調。

語言建模中常用的 one-hot 標簽與模型輸出的 logit 之間的交叉熵目標存在一些局限性，例如在不平衡的類中泛化效果較差（Cao et al.， 2019）。對比學習是一種可選擇的補充范式，可以幫助緩解其中的一些問題。

對比學習與 masked 語言建模相結合能夠讓我們學習更豐富、更魯棒的表征。它可以幫助解決模型異常值以及罕見的句法和語義現(xiàn)象帶來的問題，這對當前的 NLP 模型是一個挑戰(zhàn)。

要評估的不只是準確率

用于探索情感分析中否定性的理解的 CheckList 模板和測試（Ribeiro et al.， 2020）。

NLP 中的 SOTA 模型已在許多任務上實現(xiàn)了超越人類的表現(xiàn)，但我們能否相信這樣的模型可以實現(xiàn)真正的自然語言理解（Yogatama et al.， 2019; Bender and Koller， 2020）？其實，當前的模型離這個目標還很遠。但矛盾的是，現(xiàn)有的簡單性能指標無法體現(xiàn)這些模型的局限性。該領域有兩個關鍵主題：a）精選當前模型難以處理的樣例；b）不只是選擇準確率等簡單指標，而是進行更細粒度的評估。

關于前者，常用的方法是在數(shù)據(jù)集創(chuàng)建過程中使用對抗過濾（Zellers et al.， 2018），過濾出由當前模型正確預測的樣例。最近的研究提出了更有效的對抗過濾方法（Sakaguchi et al.， 2020; Le Bras et al.， 2020）和一種迭代數(shù)據(jù)集創(chuàng)建處理方法（Nie et al.， 2020; Bartolo et al.， 2020），其中樣例經(jīng)過過濾，模型經(jīng)過了多輪的重新訓練。Dynabench 提供了此類不斷變化的基準的子集。

針對第二點的方法在本質上也是相似的。該領域通常會創(chuàng)建 minimal pairs（也稱為反事實樣例或對比集）（Kaushik et al.， 2020; Gardner et al.， 2020; Warstadt et al.， 2020），這些 minimal pairs 以最小的方式干擾了樣例，并且經(jīng)常更改 gold label。Ribeiro et al. （2020） 在 CheckList 框架中形式化了一些基本的直覺，從而可以半自動地創(chuàng)建此類測試用例。此外，基于不同的屬性來描述樣例可以對模型的優(yōu)缺點進行更細粒度的分析（Fu et al.， 2020）

為了構建功能更強大的機器學習模型，我們不僅需要了解模型是否優(yōu)于先前的系統(tǒng)，還需要了解它會導致哪種錯誤以及還有哪些問題沒被反映出來。通過提供對模型行為的細粒度診斷，我們可以更輕松地識別模型的缺陷并提出解決方案。同樣，利用細粒度的評估可以更細致地比較不同方法的優(yōu)缺點。

語言模型的現(xiàn)實應用問題

模型會根據(jù)看似無害的提示，生成有害的結果（Gehman et al.， 2020）。

與 2019 年語言模型 （LMs） 分析側重于此類模型所捕獲的語法、語義和世界認知的氛圍相比，最近一年的分析揭示了許多實際問題。

比如經(jīng)過預訓練的 LM 容易生成「有毒」的語言 （Gehman et al.， 2020）」、泄露信息 （Song & Raghunathan， 2020）。還存在微調后易受到攻擊的問題，以致攻擊者可以操縱模型預測結果 （Kurita et al.， 2020; Wallace et al.， 2020），以及容易受到模型的影響（Krishna et al.， 2020; Carlini et al.， 2020）。

眾所周知，預訓練模型可以捕獲關于受保護屬性（例如性別）的偏見（Bolukbasi et al.， 2016; Webster et al.， 2020），Sun et al.， 2019 的研究給出了一份減輕性別偏見的調查。

大公司推出的大型預訓練模型往往在實際場景中會有積極的部署，所以我們更應該意識到這些模型存在什么偏見，又會產(chǎn)生什么有害的后果。

隨著更大模型的開發(fā)和推出，從一開始就將這些偏見和公平問題納入開發(fā)過程是很重要的。

Multilinguality

全球標記 / 未標記語言數(shù)據(jù)的不均衡分布情況（Joshi et al.， 2020）。

2020 年，多語言 NLP 有諸多亮點。旨在加強非洲語種 NLP 研究的 Masakhane 機構在第五屆機器翻譯會議 （WMT20） 上發(fā)表的主題演講，是去年最令人鼓舞的演講之一。此外，這一年還出現(xiàn)了其他語言的新通用基準，包括 XTREME （Hu et al.， 2020）、XGLUE （Liang et al.， 2020）、IndoNLU （Wilie et al.， 2020）、IndicGLUE （Kakwani et al.， 2020）。現(xiàn)有的數(shù)據(jù)集也拓展到了其他語言中，比如：

SQuAD： XQuAD （Artetxe et al.， 2020）， MLQA （Lewis et al.， 2020）， FQuAD （d‘Hoffschmidt et al.， 2020）;

Natural Questions： TyDiQA （Clark et al.， 2020）， MKQA （Longpre et al.， 2020）;

MNLI： OCNLI （Hu et al.， 2020）， FarsTail （Amirkhani et al.， 2020）;

the CoNLL-09 dataset： X-SRL （Daza and Frank， 2020）;

the CNN/Daily Mail dataset： MLSUM （Scialom et al.， 2020）。

通過 Hugging Face 數(shù)據(jù)集可以訪問其中的大部分數(shù)據(jù)集，以及許多其他語言的數(shù)據(jù)。涵蓋 100 種語言的強大模型也就應運而生了，包括 XML-R （Conneau et al.， 2020）、RemBERT （Chung et al.， 2020）、InfoXLM （Chi et al.， 2020）等，具體可參見 XTREME 排行榜。大量特定語言的 BERT 模型已經(jīng)針對英語以外的語言進行了訓練，例如 AraBERT （Antoun et al.， 2020）和 IndoBERT （Wilie et al.， 2020），查看 Nozza et al.， 2020; Rust et al.， 2020 的研究可以了解更多信息。借助高效的多語言框架，比如 AdapterHub （Pfeiffer et al.， 2020）、Stanza （Qi et al.， 2020）和 Trankit （Nguyen et al.， 2020） ，世界上許多語種的建模和應用工作都變得輕松了許多。

此外，還有兩篇很有啟發(fā)的研究，《The State and Fate of Linguistic Diversity（Joshi et al.， 2020）》和《Decolonising Speech and Language Technology （Bird， 2020）》。第一篇文章強調了使用英語之外語言的緊迫性，第二篇文章指出了不要將語言社區(qū)及數(shù)據(jù)視為商品。

拓展到英語之外的 NLP 研究有很多好處，對人類社會能產(chǎn)生實實在在的影響。考慮到不同語言中數(shù)據(jù)和模型的可用性，英語之外的 NLP 模型將大有作為。同時，開發(fā)能夠應對最具挑戰(zhàn)性設置的模型并確定哪些情況會造成當前模型的基礎假設失敗，仍然是一項激動人心的工作。

圖像Transformers

Vision Transformer 的論文中，研究者將 Transformer 編碼器應用于平坦圖像塊。

Transformer 在 NLP 領域取得了巨大的成功，但它在卷積神經(jīng)網(wǎng)絡 CNN 占據(jù)主導地位的計算機視覺領域卻沒那么成功。2020 年初的DETR （Carion et al.， 2020）將 CNN 用于計算圖像特征，但后來的模型完全是無卷積的。Image GPT （Chen et al.， 2020）采用了 GPT-2 的方法，直接從像素進行預訓練，其性能優(yōu)于有監(jiān)督的 Wide ResNet，后來的模型是將圖像重塑為被視為「token」的補丁。Vision Transformer （ViT，Dosovitskiy et al.， 2020）在數(shù)百萬個標記好的圖像上進行了訓練，每一個圖像都包含此類補丁，模型效果優(yōu)于現(xiàn)有最新的 CNN。Image Processing Transformer（IPT，Chen et al.， 2020）在被破壞的 ImageNet 示例上進行對比損失預訓練，在 low-level 圖像任務上實現(xiàn)了新的 SOTA。Data-efficient image Transformer （DeiT，Touvron et al.， 2020） 以蒸餾方法在 ImageNet 上進行了預訓練。

有趣的是，研究者們發(fā)現(xiàn)了 CNN 是更好的教師，這一發(fā)現(xiàn)類似于蒸餾歸納偏置（inductive bias）應用于 BERT （Kuncoro et al.， 2020）。相比之下在語音領域，Transformer 并未直接應用于音頻信號，而通常是將 CNN 等編碼器的輸出作為輸入（Moritz et al.， 2020; Gulati et al.， 2020; Conneau et al.， 2020）。

與 CNN 和 RNN 相比，Transformer 的歸納偏置更少。盡管在理論上，它不如 RNN （Weiss et al.， 2018; Hahn et al.， 2020）強大，但如果基于充足的數(shù)據(jù)和規(guī)模，Transformer 會超越其他競爭對手的表現(xiàn)。

未來，我們可能會看到 Transformer 在 CV 領域越來越流行，它們特別適用于有足夠計算和數(shù)據(jù)用于無監(jiān)督預訓練的情況。在小規(guī)模配置的情況下，CNN 應該仍是首選方法和基線。

自然科學與機器學習

基于自注意力的 AlphaFold 架構。

去年，DeepMind 的AlphaFold在 CASP 蛋白質折疊挑戰(zhàn)賽中實現(xiàn)了突破性的表現(xiàn)，除此之外，將機器學習應用于自然科學還有一些顯著的進展。MetNet （S?nderby et al.， 2020）證明機器學習在降水預測方面優(yōu)于數(shù)值天氣預報；Lample 和 Charton（2020）采用神經(jīng)網(wǎng)絡求解微分方程，比商用計算機系統(tǒng)效果更好；Bellemare et al. （2020）使用強化學習為平流層的熱氣球導航。

此外，ML 現(xiàn)已被廣泛應用于 COVID-19，例如 Kapoor 等人利用 ML 預測 COVID-19 的傳播，并預測與 COVID-19 相關的結構，Anastasopoulos 等人將相關數(shù)據(jù)翻譯成 35 種不同的語言，Lee 等人的研究可以實時回答有關 COVID-19 的問題。

有關 COVID-19 相關的 NLP 應用程序的概述，請參閱第一期 COVID-19 NLP 研討會的會議記錄：《Proceedings of the 1st Workshop on NLP for COVID-19 （Part 2） at EMNLP 2020》。

自然科學可以說是 ML 最具影響力的應用領域。它的改進涉及到生活的許多方面，可以對世界產(chǎn)生深遠的影響。隨著蛋白質折疊等核心領域的進展，ML 在自然科學中的應用速度只會加快。期待更多促進世界進步的研究出現(xiàn)。

強化學習

與最先進的智能體相比，Agent57 和 MuZero 整個訓練過程中在雅達利游戲中的表現(xiàn)優(yōu)于人類基準（Badia et al.， 2020）。

單個深度強化學習智能體Agent57（Badia et al.， 2020）首次在 57 款 Atari 游戲上超過人類，這也是深度強化學習領域中的一個長期基準。智能體的多功能性來自于神經(jīng)網(wǎng)絡，該網(wǎng)絡允許在探索性策略和利用性策略之間切換。

強化學習在游戲方面的另一個里程碑是 Schrittwieser 等人開發(fā)的MuZero，它能預測環(huán)境各個方面，而環(huán)境對精確的規(guī)劃非常重要。在沒有任何游戲動態(tài)知識的情況下，MuZero 在雅達利上達到了 SOTA 性能，在圍棋、國際象棋和日本象棋上表現(xiàn)也很出色。

最后是 Munchausen RL 智能體（Vieillard et al.， 2020），其通過一個簡單的、理論上成立的修改，提高了 SOTA 水平。

強化學習算法有許多實際意義 （Bellemare et al.， 2020）。研究人員對這一領域的基本算法進行改進，通過更好的規(guī)劃、環(huán)境建模和行動預測產(chǎn)生很大的實際影響。

隨著經(jīng)典基準（如 Atari）的基本解決，研究人員可能會尋找更具挑戰(zhàn)性的設置來測試他們的算法，如推廣到外分布任務、提高樣本效率、多任務學習等。

責任編輯：PSY