2022年下半年開(kāi)始，涌現(xiàn)出一大批“大模型”的優(yōu)秀應(yīng)用，其中比較出圈的當(dāng)屬AI作畫(huà)與ChatGPT，刷爆了各類社交平臺(tái)，其讓人驚艷的效果，讓AI以一個(gè)鮮明的姿態(tài)，站到了廣大民眾面前，讓不懂AI的人也能直觀地體會(huì)到AI的強(qiáng)大。大模型即大規(guī)模預(yù)訓(xùn)練模型，本文就和大家聊一聊 預(yù)訓(xùn)練模型的起源與發(fā)展 。

1. 前言

NLP模型開(kāi)發(fā)領(lǐng)域的標(biāo)準(zhǔn)范式“pretrain+finetune”近年來(lái)，由于預(yù)訓(xùn)練模型（Pretrained Models， PTMs）的蓬勃發(fā)展，“預(yù)訓(xùn)練（pretrain）+微調(diào)（finetune）”成為了AI模型開(kāi)發(fā)領(lǐng)域的標(biāo)準(zhǔn)范式。

預(yù)訓(xùn)練模型的作用可想而知，它極大推進(jìn)了AI的落地，讓AI模型的開(kāi)發(fā)從手工作坊模式走向工廠模式，快速適應(yīng)AI市場(chǎng)的定制化需求。但它絕非一個(gè)空降神器，預(yù)訓(xùn)練的研究最早起源于遷移學(xué)習(xí)。

遷移學(xué)習(xí)的核心思想，即運(yùn)用已有的知識(shí)來(lái)學(xué)習(xí)新的知識(shí)，通俗來(lái)說(shuō)就是將一個(gè)預(yù)訓(xùn)練的模型被重新用在另一個(gè)任務(wù)中。早期的預(yù)訓(xùn)練模型主要基于有標(biāo)簽數(shù)據(jù)，預(yù)訓(xùn)練模型的第一個(gè)浪潮發(fā)生在CV領(lǐng)域，得益于ImageNet[1]數(shù)據(jù)集中所富含的強(qiáng)大的視覺(jué)信息，其包含了上百萬(wàn)張上千種類別的圖片，覆蓋了日常生活中的各種物體，

在ImageNet上預(yù)訓(xùn)練的模型（比如ResNet50）廣泛應(yīng)用于圖像領(lǐng)域的各個(gè)下游任務(wù)，均取得了卓越的進(jìn)展。而在NLP領(lǐng)域，由于下游任務(wù)的多樣性以及數(shù)據(jù)標(biāo)注的復(fù)雜性，導(dǎo)致無(wú)法獲得一個(gè)像ImageNet這樣大規(guī)模的有標(biāo)簽數(shù)據(jù)，所以NLP領(lǐng)域嘗試使用自監(jiān)督學(xué)習(xí)的方法來(lái)獲取預(yù)訓(xùn)練模型，自監(jiān)督學(xué)習(xí)的主要思想就是利用文本間的內(nèi)在聯(lián)系為監(jiān)督信號(hào)。

通過(guò)自我監(jiān)督學(xué)習(xí)，可以利用大量未標(biāo)記的文本數(shù)據(jù)來(lái)捕獲通用的語(yǔ)言知識(shí)。早期NLP領(lǐng)域的NLP模型主要是詞嵌入（word embedding）的研究，比如word2Vec[2]，Glove[3]等，它們至今在各種NLP任務(wù)中仍發(fā)揮著重要的作用。2017年出現(xiàn)的Transformer結(jié)構(gòu)[4]，給NLP領(lǐng)域預(yù)訓(xùn)練模型的發(fā)展帶來(lái)了絕大的突破。Transformer的成功，也誘使CV領(lǐng)域加入了自監(jiān)督預(yù)訓(xùn)練模型的賽道。

如今，自監(jiān)督預(yù)訓(xùn)練已經(jīng)成為當(dāng)前人工智能研究的重點(diǎn)，幾乎所有的最新的 PTM都是采用類Transformer結(jié)構(gòu)與自監(jiān)督學(xué)習(xí)的方法，接下來(lái)介紹比較有代表性的自監(jiān)督預(yù)訓(xùn)練語(yǔ)言模型。

圖2 預(yù)訓(xùn)練的起源與發(fā)展[5]

2. 模型結(jié)構(gòu)

PTM成功的關(guān)鍵是自監(jiān)督學(xué)習(xí)和Transformer。本節(jié)從占主導(dǎo)地位的神經(jīng)架構(gòu) Transformer 開(kāi)始。然后介紹兩個(gè)具有里程碑意義的基于 Transformer 的 PTM，GPT[6]和BERT[7]。所有后續(xù)的PTMs基本都是這兩個(gè)模型的變體。

2.1 Transformer

Transformer是一種序列到序列（seq2seq）架構(gòu)，由編碼器（encoder）和解碼器（decoder）組成。說(shuō)起Transformer，就不得不提它的注意力機(jī)制（Attention），對(duì)于注意力機(jī)制的原理解析可參考[5]，這里主要總結(jié)下transformer中存在的三種注意力機(jī)制：

1. Self-attention ：存在于encoder中的注意力層中，使用前一層的輸出作為Q，K，V。給定一個(gè)詞，自注意力計(jì)算其與輸入序列中的所有單詞的注意力得分，來(lái)表示其他單詞對(duì)給定詞匯特征表示的貢獻(xiàn)程度。
2. Mask-attention ：存在于decoder階段，通過(guò)掩膜的手段，控制注意力得分的計(jì)算過(guò)程僅當(dāng)前詞匯左側(cè)的詞參與。因?yàn)閐ecoder是一個(gè)從左到右逐詞生成的過(guò)程。
3. Cross-attention ：同樣是存在于decoder階段，使用前一層的輸出作為Q，同時(shí)使用encoder的輸出作為K，V。交叉注意力機(jī)制的主要作用在于生成詞過(guò)程中能夠利用其輸入序列的信息，這在諸如機(jī)器翻譯和文本摘要的seq2seq任務(wù)中尤為重要。

圖3 Transformer網(wǎng)絡(luò)結(jié)構(gòu)示意圖[5]

2.2 GPT

GPT是第一個(gè)在Transformer結(jié)構(gòu)上應(yīng)用自監(jiān)督學(xué)習(xí)目標(biāo)的PTM，它僅使用了Transformer的decoder作為基礎(chǔ)結(jié)構(gòu)，由于采用自監(jiān)督學(xué)習(xí)，所以刪去了cross-attention層。GPT是一個(gè)標(biāo)準(zhǔn)的自回歸語(yǔ)言模型，它的學(xué)習(xí)目標(biāo)，是根據(jù)上文預(yù)測(cè)下一個(gè)詞，因此也往往更適合自然語(yǔ)言生成任務(wù)。

圖4 BERT與GPT的區(qū)別[5]## 2.3 BERT

BERT是基于雙向 Transformer 結(jié)構(gòu)構(gòu)建，僅使用了Transformer的encoder結(jié)構(gòu)。這里的雙向主要是通過(guò)它的預(yù)訓(xùn)練目標(biāo)實(shí)現(xiàn)的，BERT設(shè)計(jì)了一個(gè) masked language modeling (MLM) 預(yù)訓(xùn)練任務(wù)，根據(jù)上下文來(lái)預(yù)測(cè)masked詞匯。“雙向”即體現(xiàn)在，在進(jìn)行注意力計(jì)算時(shí)，BERT會(huì)同時(shí)考慮被遮蔽詞左右的詞對(duì)其的影響。BERT是一種自編碼語(yǔ)言模型，更適合自然語(yǔ)言理解任務(wù)。

2.4 后起之秀

在GPT和BERT之后，出現(xiàn)了很多基于它們的變體，圖5中羅列了目前預(yù)訓(xùn)練模型家族的主要成員。一部分工作致力于改進(jìn)模型架構(gòu)并探索新的預(yù)訓(xùn)練任務(wù)；一部分工作致力于探索數(shù)據(jù)的豐富性，比如多語(yǔ)言和多模態(tài)PTMs；還有一部分工作致力于探索更多參數(shù)的模型以及PTM計(jì)算效率的優(yōu)化。

預(yù)訓(xùn)練模型的主要目標(biāo)是如何利用未標(biāo)注語(yǔ)料來(lái)獲取通用知識(shí)，以便快速遷移到各種下游任務(wù)中。預(yù)訓(xùn)練任務(wù)即學(xué)習(xí)目標(biāo)的設(shè)計(jì)至關(guān)重要。前文也提到了GPT和BERT的預(yù)訓(xùn)練任務(wù)Autoregressive language modeling和masked language modeling，它們也分別是自回歸語(yǔ)言模型和自編碼語(yǔ)言模型無(wú)法替代的預(yù)訓(xùn)練任務(wù)，后續(xù)的一些PTMs中探索的新的預(yù)訓(xùn)練任務(wù)均是在此基礎(chǔ)上追加的。下表中總結(jié)了目前一些常見(jiàn)的預(yù)訓(xùn)練任務(wù)。對(duì)于單資源數(shù)據(jù)輸入（單語(yǔ)言純文本），往往從挖掘文本間詞匯、句子、篇章的內(nèi)在聯(lián)系設(shè)計(jì)新的預(yù)訓(xùn)練任務(wù)；對(duì)于多資源數(shù)據(jù)輸入，比如多語(yǔ)言和多模態(tài)的預(yù)訓(xùn)練模型，往往會(huì)從如何構(gòu)建不同語(yǔ)言和不同模態(tài)的統(tǒng)一的特征表示來(lái)考慮設(shè)計(jì)新的預(yù)訓(xùn)練任務(wù)。

4. 總結(jié)

本文整體介紹了預(yù)訓(xùn)練模型起源與發(fā)展，文章大部分內(nèi)容來(lái)自于論文[5]，在此基礎(chǔ)上做了一些總結(jié)和梳理，感興趣的可以去閱讀原文。預(yù)訓(xùn)練模型的發(fā)展無(wú)疑推進(jìn)了AI的落地。近年來(lái)，隨著神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)技術(shù)逐漸成熟并趨于收斂，以及數(shù)據(jù)和模型參數(shù)規(guī)模的不斷增大，行業(yè)內(nèi)也掀起了“煉大模型”的熱潮，致力于打造AI領(lǐng)域的基石模型。而對(duì)于預(yù)訓(xùn)練模型的應(yīng)用，除了“pretrain+finetune”，逐漸盛行了一種新的范式“pretrain+prompt+predict"，致力于重構(gòu)不同的下游任務(wù)，打造大一統(tǒng)的多任務(wù)模型。歸根結(jié)底，大家其實(shí)都是在解決同一個(gè)問(wèn)題：”如何快速有效地進(jìn)行AI模型開(kāi)發(fā)“，這也是AI領(lǐng)域一直以來(lái)研究的重要課題。

5. 參考文獻(xiàn)

[1] Deng J, Dong W, Socher R, et al. Imagenet: A large-scale hierarchical image database[C]//2009 IEEE conference on computer vision and pattern recognition. Ieee, 2009: 248-255.

[2] Mikolov T, Chen K, Corrado G, et al. Efficient estimation of word representations in vector space[J]. arXiv preprint arXiv:1301.3781, 2013.

[3] Pennington J, Socher R, Manning C D. Glove: Global vectors for word representation[C]//Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP). 2014: 1532-1543.