最近，人們對大型語言模型所展示的強大能力（例如思維鏈 、便簽本 ）產(chǎn)生了極大的興趣，并開展了許多工作。我們將之統(tǒng)稱為大模型的突現(xiàn)能力 ，這些能力可能只存在于大型模型中，而不存在于較小的模型中，因此稱為“突現(xiàn)”。

其中許多能力都非常令人印象深刻，比如復(fù)雜推理、知識推理和分布外魯棒性，我們將在后面詳細(xì)討論。值得注意的是，這些能力很接近 NLP 社區(qū)幾十年來一直尋求的能力，因此代表了一種潛在的研究范式轉(zhuǎn)變，即從微調(diào)小模型到使用大模型進(jìn)行上下文學(xué)習(xí)。

對于先行者來說，范式轉(zhuǎn)變可能是很顯然的。然而，出于科學(xué)的嚴(yán)謹(jǐn)性， 我們確實需要非常明確的理由來說明為什么人們應(yīng)該轉(zhuǎn)向大型語言模型，即使這些模型昂貴、難以使用，并且效果可能一般 。在本文中，我們將仔細(xì)研究這些能力是什么，大型語言模型可以提供什么，以及它們在更廣泛的 NLP/ML 任務(wù)中的潛在優(yōu)勢是什么。

前提 ：我們假設(shè)讀者具備以下知識：

• 預(yù)訓(xùn)練、精調(diào)、提示（普通從業(yè)者應(yīng)具備的自然語言處理/深度學(xué)習(xí)能力）
• 思維鏈提示、便簽本（普通從業(yè)者可能不太了解，但不影響閱讀）

存在于大模型而非小模型的突現(xiàn)能力

圖片來自于 Wei. et. al. 2022. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models。X軸為模型尺寸。GSM8K是是一個小學(xué)水平的數(shù)學(xué)問題集。

在以上的效果圖中，我們可以觀察到模型的表現(xiàn)：

• 當(dāng)尺寸相對小的時候提升并不大
• 當(dāng)模型變大時有很明顯的提升

這從根本上說明，某些能力可能不存在于小模型中，而是在大模型中獲得的。

有很多種突現(xiàn)能力，比如 Wei 等人在 2022年 ^[5]^ 所梳理的。有些能力很有意思，但我們在本文不會討論，比如last latter concatenation，我們認(rèn)為這是Python而不是語言模型要做的任務(wù)；或者3位數(shù)加法，我們認(rèn)為這是計算器而不是語言模型要做的事。

在本文中，我們主要對以下能力感興趣：

1. NLP 社區(qū)近幾年都關(guān)注但還沒實現(xiàn)的能力
2. 之前的 NLP 模型很難達(dá)到的能力
3. 源自于人類語言最深層的本質(zhì)的能力
4. 可能達(dá)到人類智力的最高水平的能力

突現(xiàn)能力的三個典型例子

很多有意思的能力都可以歸到上文提到的類別里，在它們之中，我們主要討論以下三種典型能力：

• 復(fù)雜推理
• 知識推理
• 分布外魯棒性

接下來讓我們一個個詳細(xì)討論。

復(fù)雜推理

下面是一個GSM8K數(shù)據(jù)集中，用提示詞顯著超過精調(diào)的例子：

問題：
克萊兒每天早飯都用 3 顆蛋做蛋卷，她 4 周會吃掉多少打雞蛋？

克萊兒每天早飯都用3顆蛋做蛋卷。
一周有 7 天。
所以她一周會吃 3 * 7 = 21 顆蛋。
她4周會吃掉 4 * 21 = 84 顆蛋。
一打里面是 12 顆蛋。
所以 84 / 12 = 7。

答案是7。

雖然這道題對于10歲的孩子來說很容易，但對語言模型來說卻很難，主要是由于數(shù)學(xué)和語言混合在一起。

GSM8K 最初由 OpenAI 于 2021 年 10 月 ^[6]^ 提出。當(dāng)時他們用第一版GPT3在全部訓(xùn)練集上進(jìn)行了精調(diào)，準(zhǔn)確率約為 35% 。這個結(jié)果讓作者相當(dāng)悲觀，因為他們的結(jié)果顯示了語言模型的縮放規(guī)律：隨著模型大小呈指數(shù)增長，性能呈線性增長（我之后會討論）。因此，他們在第 4.1 節(jié)中思考：

“175B 模型似乎需要至少額外兩個數(shù)量級的訓(xùn)練數(shù)據(jù)才能達(dá)到 80% 的求解率。 ”

三個月后，即 2022 年 1 月，Wei 等人 ^[7]^ 基于 540B PaLM 模型，僅使用了8個思維鏈提示示例便將準(zhǔn)確率提高到56.6% （無需將訓(xùn)練集增加兩個數(shù)量級）。之后在 2022 年 3 月 ，Wang 等人 ^[8]^ 基于相同的 540B PaLM 模型，通過多數(shù)投票的方法將準(zhǔn)確率提高到 74.4% 。當(dāng)前的 SOTA 來自我自己在 AI2 的工作（Fu et. al. Nov 2022 ^[9]^ ），我們通過使用復(fù)雜的思維鏈在 175B Codex 上實現(xiàn)了 82.9% 的準(zhǔn)確率。從以上進(jìn)展可以看到，技術(shù)進(jìn)步確實呈指數(shù)級增長。

思維鏈提示是一個展示模型隨著規(guī)模突現(xiàn)出能力的典型例子：

• 從突現(xiàn)能力來看 ：盡管不需要 17500B，但模型大小確實要大于 100B ，才能使思維鏈的效果大于的僅有回答提示。所以這種能力只存在于大型模型中。
• 從 效果來看 ：思想鏈提示的性能明顯優(yōu)于其之前的精調(diào)方法（目前還沒有能公平對比提示詞和微調(diào)的工作。但當(dāng)思維鏈被提出的時候，盡管他們對于提示和精調(diào)的比較可能是不公平的，但確實比精調(diào)效果要好）。
• 從標(biāo)注效率上來看 ：思維鏈提示只需要 8 個示例的注釋，而微調(diào)需要完整的訓(xùn)練集。

有些同學(xué)可能會認(rèn)為模型能做小學(xué)數(shù)學(xué)代表不了什么（從某種意義上說，他們確實沒有那么酷）。但 GSM8K 只是一個開始，最近的工作已經(jīng)把前沿問題推向了高中 ^[10]^ 、大學(xué) ^[11]^ ，甚至是國際數(shù)學(xué)奧林匹克問題 ^[12]^ 。現(xiàn)在更酷了嗎？

知識推理

下一個例子是需要知識的推理能力（例如問答和常識推理）。在這種情況下， 對大型模型進(jìn)行提示不一定優(yōu)于精調(diào)小型模型 （哪個模型更好還有待觀察）。但是 這個情況下的注釋效率被放大了 ，因為：

• 在許多數(shù)據(jù)集中，為了獲得所需的背景/常識知識，（以前很小的）模型需要一個外部語料庫/知識圖譜來檢索 ^[13]^ ，或者需要通過多任務(wù)學(xué)習(xí)在增強 ^[14]^ 的數(shù)據(jù)上進(jìn)行訓(xùn)練
• 對于大型語言模型，可以直接去掉檢索器 ^[15]^ ，僅依賴模型的內(nèi)部知識 ^[16]^ ，且無需精調(diào)

圖片來自于 Yu et. al. 2022. 以前的 SOTA 模型需要從外部知識源中檢索。GPT-3 的性能與以前的模型相當(dāng)/優(yōu)于以前的模型，且無需檢索。

如表中所示，與數(shù)學(xué)題的例子不同，GPT-3 并沒有明顯優(yōu)于之前的精調(diào)模型。但它不需要從外部文檔中檢索，本身就包含了知識（雖然這些知識可能過時或者不可信，但選擇哪種可信知識源超出了本文的討論范圍）。

為了理解這些結(jié)果的重要性，我們可以回顧一下歷史：NLP 社區(qū)從一開始就面臨著如何有效編碼知識的挑戰(zhàn)。人們一直在不斷探究把知識保存在模型外部或者內(nèi)部的方法。上世紀(jì)九十年代以來，人們一直試圖將語言和世界的規(guī)則記錄到一個巨大的圖書館中，將知識存儲在模型之外。但這是十分困難的，畢竟我們無法窮舉所有規(guī)則。因此，研究人員開始構(gòu)建特定領(lǐng)域的知識庫，來存儲非結(jié)構(gòu)化文本、半結(jié)構(gòu)化（如維基百科）或完全結(jié)構(gòu)化（如知識圖譜）等形式的知識。通常， 結(jié)構(gòu)化知識很難構(gòu)建 （因為要設(shè)計知識的結(jié)構(gòu)體系）， 但易于推理 （因為有體系結(jié)構(gòu)）， 非結(jié)構(gòu)化知識易于構(gòu)建 （直接存起來就行）， 但很難用于推理 （沒有體系結(jié)構(gòu)）。然而，語言模型提供了一種新的方法，可以輕松地從非結(jié)構(gòu)化文本中提取知識，并在不需要預(yù)定義模式的情況下有效地根據(jù)知識進(jìn)行推理。下表為優(yōu)缺點對比：