分布外魯棒性

我們討論的第三種能力是分布外的魯棒性。在 2018 年至 2022 年期間，NLP、CV 和通用機器學習領域有大量關于分布偏移/對抗魯棒性/組合生成的研究，人們發現當測試集分布與訓練分布不同時，模型的行為性能可能會顯著下降。然而，在大型語言模型的上下文學習中似乎并非如此。Si 等人在2022年的研究顯示 ：

數據來自于 Si et. al. 2022. 雖然 GPT-3 在同分布設置下比 RoBERTa 要差，但在非同分布設置下優于 RoBERTa，性能下降明顯更小。

同樣，在此實驗中，同分布情況下基于提示詞的 GPT-3 的效果并沒有精調后的 RoBERTa要好。但它在三個其他分布（領域切換、噪聲和對抗性擾動）中優于 RoBERTa，這意味著 GPT3 更加魯棒。

此外，即使存在分布偏移，好的提示詞所帶來的泛化性能依舊會繼續保持。比如：

圖片來自于 Fu et. al. 2022. 即使測試分布與訓練分布不同，復雜提示也始終比簡單提示的表現更好。

Fu 等人2022年 的研究顯示，輸入提示越復雜，模型的性能就越好。這種趨勢在分布轉移的情況下也會繼續保持：無論測試分布與原分布不同、來自于噪聲分布，或者是從另一個分布轉移而來的，復雜提示始終優于簡單提示。

到目前為止的總結

在上文中，我討論了只有大型模型才有的三種突現能力。它們是：

• 復雜推理，大型模型在沒有使用全部訓練數據的情況下便顯著優于以前的小型模型。
• 知識推理，大型模型可能沒有小模型效果好，但大模型不需要額外的知識來源（知識可能很昂貴，或者很難從非結構化數據中抽取）。
• 分布外魯棒性，這是之前進行模型精調時需要努力解決的問題。大型模型雖然在同分布情況下的效果不如以前的方法，但非同分布情況下的泛化性能卻好得多。

突現能力推翻比例定律

鑒于上文列出的優點，大家可能會開始覺得大型語言模型確實很好了。在進一步討論之前，讓我們再回顧一下之前的工作，就會發現一個很奇怪的問題： GPT-3 在 2020 年就發布了，但為什么直到現在我們才發現并開始思考范式的轉變 ？

這個問題的答案就藏在兩種曲線中：對數線性曲線和相變曲線。如下圖：

左圖: 比例定律. 當模型大小呈指數增長時，相應的模型性能呈線性增長。右圖: 當模型尺寸達到一定規模時，會出現突現能力，讓性能急劇增加。

最初，（OpenAI）的研究者認為語言模型的性能與模型尺寸的關系可以通過對數線性曲線預測，即模型尺寸呈指數增長時，性能會隨之線性增加。這種現象被稱為語言模型的縮放定律，正如 Kaplan 等人在2020年 最初的GPT3文章 中討論的那樣。

重要的是，在那個階段，即便最大的 GPT-3 在有提示的情況下也不能勝過小模型精調。所以當時并沒有必要去使用昂貴的大模型（即使提示詞的標注效率很高）。

直到2021年，Cobbe 等人 發現縮放定律同樣適用于精調。這是一個有點悲觀的發現，因為它意味著 我們可能被鎖定在模型規模上 ——雖然模型架構優化可能會在一定程度上提高模型性能，但效果仍會被鎖定在一個區間內（對應模型規模），很難有更顯著的突破。

在縮放定律的掌控下（2020年到2021），由于GPT-3無法勝過精調 T5-11B，同時T5-11B微調已經很麻煩了，所以NLP社區的關注點更多的是研究更小的模型或者高效參數適應。Prefix tuning 就是提示和適應交叉的一個例子，后來由 He 等人在 2021 統一。當時的邏輯很簡單：如果精調效果更好，我們就應該在高效參數適應上多下功夫；如果提示詞的方法更好，我們應該在訓練大型語言模型上投入更多精力。

之后在 2022 年 1 月，思維鏈的工作被放出來了。正如作者所展示的那樣，思維鏈提示在性能-比例曲線中表現出明顯的 相變 。當模型尺寸足夠大時，性能會顯著提高并明顯超越比例曲線。

當使用思維鏈進行提示時，大模型在復雜推理上的表現明顯優于微調，在知識推理上的表現也很有競爭力，并且分布魯棒性也存在一定的潛力。要達到這樣的效果只需要8個左右的示例，這就是為什么范式可能會轉變的原因。

范式轉變意味著什么？

范式轉變究竟意味著什么？下面我們給出精調和提示詞方法的對比：

提示詞的好處很明顯：我們不再需要繁瑣的數據標注和在全量數據上進行精調，只需要編寫提示詞并獲得滿足要求的結果，這比精調要快很多。

另外要注意的兩點是：

上下文學習是監督學習嗎？

• 坦白講，我不確定。
• 相似之處在于，上下文學習也需要像訓練數據一樣的示例
• 不同之處在于，上下文學習的泛化行為并不同于監督學習，這使得之前的泛化理論（例如 Rademancher Complexity 或 Neural Tangent Kernel）均不適用。

上下文學習真的比監督學習效果要好嗎？

• 答案還未知。
• 大多數提示詞和精調的對比都只比了 提示詞+大模型 vs 精調+小模型，但公平的對比應該是 提示詞+大模型 vs 精調+大模型，且對比時的基座模型應該一樣。所以在最初的思維鏈文章中，如果 Wei 等人要說明提示詞好于精調，他們應該對比精調后的PaLM，而不是GPT3。
• 我的假設是：精調可以提高分布內的性能，但會損害分布外的魯棒性。提示詞在分布變化的場景中表現更好，但在同分布場景下不如精調。
  • 如果假設是真的，那么一個值得研究的問題就是如何在不犧牲其上下文學習能力的情況下進行精調
  • 注意分布外精調的效果同樣會隨著模型尺寸變化 。比如 Yang 等人在2022年的工作中，第四張表就顯示，Bart-based的分布外泛化能力會下降，但Bart-large則提升。對于大模型，當測試集的分布和訓練集相差不大時，同分布的精調效果也應該會提升。

再回顧一下前文提到的的邏輯：如果精調更好，我們應該努力研究如何進行參數高效的優化；如果提示詞更好，我們應該努力去訓練更好的大型語言模型。

所以，盡管我們相信大型語言模型有巨大的潛力，仍然沒有確鑿的證據表明精調和提示詞哪種方法更好，因此我們不確定范式是否真的應該轉變、或應該轉變到什么程度。仔細比較這兩種范式，使我們對未來有一個清晰的認識，是非常有意義的。我們將更多討論留到下一篇文章。

模型應該多大才夠？

兩個數字：62B 和 175B。

• 模型至少需要62B，使思維鏈的效果才能大于標準的提示詞方法。
• 模型至少需要175B（GPT3的尺寸），思維鏈的效果才能大于精調小模型（T5 11B）的效果。

62B這個數字來自于 Chung 等人 2022 年工作的第五張表 ：

對于所有小于62B的模型，直接用提示詞都好于思維鏈 。第一個用思維鏈更好的模型是 Flan-cont-PaLM 62B 在BBH上的結果。540B的模型使用思維鏈會在更多任務上得到好的效果，但也不是全部任務都好于精調。另外，理想的尺寸可以小于 540B，在 Suzgun 等人2022年 的工作中，作者展示了175B的 InstructGPT 和 175B的 Codex 使用思維鏈都好于直接用提示詞。綜合以上結果，我們得到了63B和175B兩個數字。所以，如果想要參與這場游戲，首先要有一個大于平均尺寸的模型。

不過，還有其他大型模型在思維鏈下的表現差了很多，甚至不能學到思維鏈，比如 OPT、BLOOM 和 GPT-3 的第一個版本。他們的尺寸都是175B。這就引出了我們下一個要討論的問題。

規模是唯一的因素嗎？

不是。

規模是一個必要但不充分的因素。有些模型足夠大（比如 OPT 和 BLOOM，都是 175B），但并不能做思維鏈。

有兩種模型可以做思維鏈 (TODO: add discussions about UL2):

• GPT3系列的模型，包括 text-davinci-002 和 code-davinci-002 (Codex)。 這是僅有的兩個具有強大突現能力并可公開訪問的模型 。
  • 除了以上兩個模型，其他GPT3模型，包括原來的GPT3，text-davinci-001，以及其他更小的GPT-3模型，都不能做思維鏈。
  • 當說“能做思維鏈”時，我們是指使用思維鏈方法的效果比直接用提示詞、精調T5-11B效果更好。
  • 另外要注意的是，code-davinci-002 在語言任務上的性能始終優于 text-davinci-002。這個觀察非常有趣且耐人尋味。這表明 基于代碼數據訓練的語言模型可以勝過根據語言訓練的語言模型 。目前為止我們還不知道是為什么。
• PaLM系列模型，包括 PaLM、U-PaLM、Flan-PaLM 和 Minerva。這些模型目前還未開放訪問（此處@谷歌，快開源吧）。

為什么會有突現能力目前還不清楚，但我們找出了一下可能產生突現能力的因素：

• 指令精調：GPT-3 text-davinci-002 就是用指令+強化學習精調 的產物。在這之前，text-davinci-001 做思維鏈的效果并不好。同時PaLM 在經過指令精調 后的效果也有提升。
• 在代碼上精調：Codex code-davinci-002 是在代碼上進行精調的，它的效果持續好于 text-davinci-002。PaLM 也在代碼上進行了調整。從表面上看，代碼與語言關系不大，但似乎起了很大作用，我們會在之后的文章進行討論。
• 用思維鏈精調：在 text-davinci-002 發布時，谷歌已經發布 PaLM 3 個月了。所以 OpenAI 應該看到了思維鏈相關的工作。還有一些工作表明，直接用思維鏈數據進行精調可以激發模型的思維鏈能力。

然而，所有這些因素在現階段都是推測。揭示如何訓練才能讓模型產生突現能力是非常有意義的，我們將更多討論留[下一篇文章。

總結

在本文中，我們仔細研究了語言模型的突現能力。我們強調了復雜推理、知識推理和分布外魯棒性的重要性和其中存在的機會。突現能力是非常令人興奮的，因為它們可以超越比例定律，并在比例曲線中表現出相變。我們詳細討論了研究范式是否會真的從精調轉向上下文學習，但我們目前還沒有確切答案，因為精調和上下文學習在分布內、分布外場景下的效果仍有待對比。最后，我們討論了產生突現能力的三個潛在因素：指令精調、代碼精調和思維鏈精調。非常歡迎大家提出建議和討論。

英文原版：https://franxyao.github.io/blog.html

作者： 符堯 ，yao.fu@ed.ac.uk，愛丁堡大學 (University of Edinburgh) 博士生，本科畢業于北京大學

與 Tushar Khot ，彭昊 在艾倫人工智能研究院 (Allen Institute for AI) 共同完成英文原稿

與 李如寐 （美團NLP中心）共同翻譯為中文

感謝 Aristo teammates , Jingfeng Yang , 和 Yi Tay 的討論與建議。