前言

隨著大模型（GPT3，Instruction GPT，ChatGPT）的橫空出世，如何更高效地提示大模型也成了學(xué)術(shù)界與工業(yè)界的關(guān)注，因此 In-context learning 的方法在 NLP 領(lǐng)域十分火熱。 ? 從時(shí)間線上看，它的演變歷程大約是從 Prompt learning（2021年初） 到 Demonstration learning（2021年底）再到 In-cotnext learning（2022年初），但從方法原理上，他們卻有很多相似之處。 ? 本文對(duì)一篇有代表性的 in-context learning 論文：Rethinking the Role of Demonstrations: What Makes In-Context Learning Work？進(jìn)行閱讀，之后我也會(huì)做其他 ICL 論文的閱讀筆記。 ? ? ? ?

什么是In-Context Learning

In Context Learning（ICL）的關(guān)鍵思想是從類比中學(xué)習(xí)。上圖給出了一個(gè)描述語言模型如何使用 ICL 進(jìn)行決策的例子。首先，ICL 需要一些示例來形成一個(gè)演示上下文。這些示例通常是用自然語言模板編寫的。然后 ICL 將查詢的問題（即你需要預(yù)測(cè)標(biāo)簽的 input）和一個(gè)上下文演示（一些相關(guān)的 cases）連接在一起，形成帶有提示的輸入，并將其輸入到語言模型中進(jìn)行預(yù)測(cè)。 ? 值得注意的是，與需要使用反向梯度更新模型參數(shù)的訓(xùn)練階段的監(jiān)督學(xué)習(xí)不同，ICL 不需要參數(shù)更新，并直接對(duì)預(yù)先訓(xùn)練好的語言模型進(jìn)行預(yù)測(cè)（這是與 prompt，傳統(tǒng) demonstration learning 不同的地方，ICL 不需要在下游 P-tuning 或 Fine-tuning）。我們希望該模型學(xué)習(xí)隱藏在演示中的模式，并據(jù)此做出正確的預(yù)測(cè)。 ? ? ?

論文分析

Rethinking the Role of Demonstrations: What Makes In-Context Learning Work？中我們已經(jīng)發(fā)現(xiàn) Demonstration，ICL 與大規(guī)模語言模型結(jié)合（LMs）在零樣本條件下的許多任務(wù)上取得了很好的效果，但人們對(duì)它如何工作以及演示的哪些方面有助于最終任務(wù)的執(zhí)行知之甚少。本文主要以實(shí)驗(yàn)為主，探究以上影響 ICL 的因素。 ? 實(shí)驗(yàn)設(shè)置 ? 作者采用 12 個(gè)模型進(jìn)行了實(shí)驗(yàn)。我們包括 6 種語言模型（表 1），所有這些模型都是僅限解碼器的 dense LM。LMs 的大小從 774M 到 175B 不等。 ? ?

對(duì)于每個(gè)模型，作者采用了兩種應(yīng)用方式，即 direct 和 channel： ? ?

Direct：直接計(jì)算給定 input x 條件下，label y 的概率 P(y|x)。 ? Channel：與上面恰好相反，給定 y 的條件下計(jì)算 x 的概率 P(x,y)∝P(x|y）。 ? 作者在如下數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，包括情感分析，段落檢測(cè)，自然語言推理，仇恨言語檢測(cè)，問答，句子補(bǔ)全等任務(wù)。 ? ?

結(jié)論1：ICL中Ground Truth信息無關(guān)緊要

No Demos：LMs 直接進(jìn)行零樣本預(yù)測(cè)，無提示 ? Demos w gold：依賴于 K 個(gè)標(biāo)注的 examples 進(jìn)行提示，進(jìn)行預(yù)測(cè) ? Demos w random labels：抽樣 K 個(gè) examples 提示，但樣本 labels 在標(biāo)簽集中隨機(jī)采樣，而非 groundtruth。 ? ?

我們發(fā)現(xiàn)，用隨機(jī)標(biāo)簽替換黃金標(biāo)簽只會(huì)輕微影響性能。這一趨勢(shì)在幾乎所有的模型上都是一致的：模型看到的性能下降在 0-5% 的絕對(duì)范圍內(nèi)。在多選擇任務(wù)中（平均 1.7%）替換標(biāo)簽的影響小于在分類任務(wù)中（2.6% 的絕對(duì)標(biāo)簽）。 ? 這一結(jié)果表明，地面真實(shí)值輸入標(biāo)簽對(duì)并不是實(shí)現(xiàn)性能提高的必要條件。這是違反直覺的，因?yàn)檎_的配對(duì)訓(xùn)練數(shù)據(jù)在典型的監(jiān)督訓(xùn)練中是至關(guān)重要的——它通知模型執(zhí)行下游任務(wù)所需的期望輸入-標(biāo)簽對(duì)應(yīng)。盡管如此，這些模型在下游任務(wù)上確實(shí)取得了非常重要的性能。 ? 作者在以下 3 個(gè)維度上進(jìn)一步做了消融實(shí)驗(yàn)：正確演示占總的百分比（下圖1）與演示樣本數(shù)量 K（下圖2），演示的模板樣式（下圖3）。 ?

可以得到相似的結(jié)論，在演示正確與否影響并不大。 ? ? ?

結(jié)論2：ICL的性能收益主要來自獨(dú)立規(guī)范的輸入空間和標(biāo)簽空間，以及正確一致的演示格式

作者分別從以下四個(gè)維度探究 In-Context Learning 效果增益的影響。 ? 1. The input-label mapping：即每個(gè)輸入 xi 是否與正確的標(biāo)簽 yi 配對(duì)

2. The distribution of the input text：即 x1...xk 的分布是否一致

3. The label space：y1...yk 所覆蓋的標(biāo)簽空間

4. The format：使用輸入標(biāo)簽配對(duì)作為格式。

輸入文本分布實(shí)驗(yàn)： ? 下圖中，青綠色的柱子為用（從外部語料中）隨機(jī)采樣的句子替換輸入句子的設(shè)置?？梢钥吹?，模型表現(xiàn)明顯下降。因此，in-context learning 中，演示中的分布內(nèi)輸入極大地有助于提高性能。這可能是因?yàn)橐?IND（in-distribution）文本的條件使任務(wù)更接近于語言建模，因?yàn)?LM 在此期間總是以 IND 文本為條件進(jìn)行推理標(biāo)簽。 ? ?

標(biāo)簽空間實(shí)驗(yàn)： ? 下圖中，青綠色的柱子為用隨機(jī)英語詞匯替代展示樣本中的標(biāo)簽?？梢钥吹?，模型表現(xiàn)明顯下降。因此，in-context learning 中，標(biāo)簽空間的一致性顯著有助于提高性能。 ?

演示格式實(shí)驗(yàn)： ? 下圖中，分別用 labels only（深紫）和 no labels（深綠）來探索演示模式的差異對(duì)模型表現(xiàn)的影響?？梢钥吹?，模型相對(duì)于上面兩圖的 OOD setting 而言，都有了進(jìn)一步的下降。這可以表明 ICL 中保持輸入-標(biāo)簽對(duì)的格式是關(guān)鍵的。 ?

有意思的討論

作者還進(jìn)行了個(gè)有意思的討論，即模型是否在 Test 階段學(xué)習(xí)到了知識(shí)？ ? 作者認(rèn)為如果我們對(duì)學(xué)習(xí)進(jìn)行嚴(yán)格的定義，即學(xué)習(xí)在訓(xùn)練數(shù)據(jù)中給出的輸入標(biāo)簽對(duì)，那么 lm 在測(cè)試時(shí)不學(xué)習(xí)新的任務(wù)。然而，學(xué)習(xí)一項(xiàng)新任務(wù)可以更廣泛地解釋：它可能包括適應(yīng)特定的輸入和標(biāo)簽分布以及演示的格式，并最終更準(zhǔn)確地做出預(yù)測(cè)。有了這個(gè)學(xué)習(xí)的定義，該模型確實(shí)可以從演示中學(xué)習(xí)任務(wù)。我們的實(shí)驗(yàn)表明，該模型確實(shí)利用了演示的各個(gè)方面，并實(shí)現(xiàn)了性能的提高。

總結(jié)

本文從多個(gè)角度探究了演示是如何讓 In-context learning 在不同的任務(wù)中產(chǎn)生性能增益的，而且隨著 fine-tune 階段的黑盒化，很多文章也提出 fine-tune 階段可能讓模型喪失了泛化性，那么 ICL 這種不 fine tune 的方法既節(jié)省時(shí)間與資源開銷，且能提升效果，應(yīng)該會(huì)在大模型林立的時(shí)代被人關(guān)注，并迅速火起來。

編輯：黃飛

?