01

研究背景及動(dòng)機(jī)

近些年，元學(xué)習(xí)已經(jīng)成為解決小樣本問(wèn)題的主流技術(shù)，并且取得不錯(cuò)的成果。然而，由于現(xiàn)有的元學(xué)習(xí)方法大多數(shù)集中在圖像分類(lèi)上，而對(duì)文本分類(lèi)上的關(guān)注比較少。與圖像不同，同一類(lèi)別中文本具有多種表達(dá)方式，這使得當(dāng)前元學(xué)習(xí)方法的性能更容易受到每個(gè)類(lèi)別樣本數(shù)（即shot的數(shù)量）的影響。因此，現(xiàn)有的元學(xué)習(xí)方法很難在小樣本文本分類(lèi)上取得令人滿意的結(jié)果。

為了解決這個(gè)問(wèn)題，我們?cè)谠獙W(xué)習(xí)中引入了數(shù)據(jù)增強(qiáng)，它帶來(lái)的好處是我們可以產(chǎn)生增強(qiáng)樣本以增加新類(lèi)別的樣本數(shù)量，并使訓(xùn)練樣本多樣化。然而，這帶來(lái)了一個(gè)新的挑戰(zhàn)，如何在小樣本的情況下產(chǎn)生置信度高的樣本？

為此，我們提出了一種新穎的數(shù)據(jù)增強(qiáng)方法，稱為Ball generator，圖1給出了一個(gè)簡(jiǎn)單的例子。首先，我們計(jì)算支持集的最小包圍球，并在該球中合成樣本。我們認(rèn)為該球中的樣本具有較高的置信度，因?yàn)樗兄С旨瘶颖径及谠撉蛑校⑶宜鼈兣c球心的最遠(yuǎn)距離最小。

其次，為避免合成樣本偏差的影響，我們引入了變換模塊，以使合成樣本靠近自己的球心，并遠(yuǎn)離其他球心。此外，我們還提出了一個(gè)新的基于數(shù)據(jù)增強(qiáng)的元學(xué)習(xí)框架（MEta-Learning with Data Augmentation，MEDA），以聯(lián)合訓(xùn)練ball generator和meta-learner，使二者協(xié)同進(jìn)化。與普通元學(xué)習(xí)相比，通過(guò)增加新類(lèi)別的樣本數(shù)量，有效地提高了meta-learning在小樣本情況下的泛化能力。

圖1：Ball generator示例

02

MEDA

MEDA的框架如圖2所示。它是兩模塊組成：一個(gè)是ball generator模塊，它負(fù)責(zé)利用支持集生成增強(qiáng)支持集，并得到擴(kuò)展支持集。另一個(gè)模塊是meta-learner，它在給定了擴(kuò)展支持集的條件下計(jì)算每個(gè)查詢實(shí)例在類(lèi)別上的概率分布，表示為。而不同的meta-learner的區(qū)別在于如何實(shí)現(xiàn)。這里我們選擇原型網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)作為MEDA的meta-learner。

圖2： MEDA

其中，ball generator是一種特征空間數(shù)據(jù)增強(qiáng)方法。它的核心思想是在特征空間中進(jìn)行樣本的合成，并對(duì)合成的樣本進(jìn)行調(diào)整。因此，整個(gè)ball generator由兩個(gè)子模塊組成：合成模塊和變換模塊。

合成模塊利用空間采樣算法獲得相應(yīng)的合成樣本。具體是將采樣空間限制為支持集的最小包圍球，這里是球心，是半徑。然后，通過(guò)如下公式計(jì)算得到合成樣本：

這里，和。

變換模塊，它是為了進(jìn)一步避免合成樣本偏差的影響，在特征空間中對(duì)合成的樣本進(jìn)行變換操作，使合成樣本更接近自己類(lèi)別的球心，而遠(yuǎn)離其他球心。因此，我們將變換操作寫(xiě)成函數(shù)，該函數(shù)以合成樣本作為輸入，產(chǎn)生一個(gè)增強(qiáng)樣本作為輸出。

03

實(shí)驗(yàn)

本文的實(shí)驗(yàn)是在SNIPS和ARSC數(shù)據(jù)集上進(jìn)行的。我們將MEDA與三組baseline模型進(jìn)行了比較。第一組是數(shù)據(jù)增強(qiáng)的模型；第二組是傳統(tǒng)的元學(xué)習(xí)模型；第三組是最新的小樣本文本分類(lèi)的SOTA模型。實(shí)驗(yàn)結(jié)果如表1和2所示。

表1：SNIPS實(shí)驗(yàn)結(jié)果

表2： ARSC實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果上來(lái)看，由于通過(guò)數(shù)據(jù)增強(qiáng)獲得更多的訓(xùn)練樣本，使得MEDA在兩個(gè)數(shù)據(jù)集上都取得一致且顯著的提升。

為了更進(jìn)一步說(shuō)明模型的shot數(shù)量對(duì)模型的影響，我們?cè)O(shè)計(jì)相應(yīng)的實(shí)驗(yàn)。如圖3所示，我們可以觀察到MEDA在所有設(shè)置中都取得了最好的表現(xiàn)。特別地，MEDA的準(zhǔn)確率隨著shot數(shù)量的減少而增加（間距變大），這表明當(dāng)shot數(shù)相對(duì)較小時(shí)，模型效果的提升更明顯。

圖3： 不同shot數(shù)量對(duì)模型準(zhǔn)確率的影響

此外，我們還研究了模型的準(zhǔn)確性如何隨著增強(qiáng)樣本數(shù)量的變化而變化。我們畫(huà)出不同模型在SNIPS數(shù)據(jù)集上的準(zhǔn)確率變化情況。如圖4所示：

圖4： 不同模型的平均準(zhǔn)確率隨增強(qiáng)樣本數(shù)量的變化而變化

可以看到，隨著增強(qiáng)樣本數(shù)量的增加，模型的準(zhǔn)確率有所提高。同時(shí)，我們比較5-shot和10-shot的實(shí)驗(yàn)設(shè)置，我們發(fā)現(xiàn)通過(guò)模型增強(qiáng)5個(gè)樣本與使用5個(gè)真實(shí)樣本的效果幾乎相同，這意味著我們的MEDA不是簡(jiǎn)單地復(fù)制樣本，而是為模型生成有意義的樣本。

04

—

總結(jié)

在本文中，我們提出了一種新穎的數(shù)據(jù)增強(qiáng)方法，稱為ball generator，以增加新類(lèi)別的樣本數(shù)量。此外，我們還提出了一個(gè)新的框架MEDA，該框架聯(lián)合優(yōu)化了ball generator和meta-learner，從而使ball generator可以學(xué)習(xí)生成最適合meta-learner的增強(qiáng)樣本。更多的細(xì)節(jié)、結(jié)果以及分析請(qǐng)參考原論文。

編輯：jq