一個聯合的meta-reweighting的策略來自然的進行整合

自增強（self-augmentation）最近在提升低資源場景下的 NER 問題中得到了越來越多的關注，token 替換和表征混合是對于 NER 這類 token 級別的任務很有效的兩種自增強方法。值得注意的是，自增強的方法得到的增強數據有潛在的噪聲，先前的研究是對于特定的自增強方法設計特定的基于規則的約束來降低噪聲。

本文提出了一個聯合的 meta-reweighting 的策略來自然的進行整合。我們提出的方法可以很容易的擴展到其他自增強的方法中，實驗表明，本文的方法可以有效的提升自增強方法的表現。

論文標題：

Robust Self-Augmentation for Named Entity Recognition with Meta Reweighting

論文鏈接：

https://arxiv.org/pdf/2204.11406.pdf

代碼鏈接：

https://github.com/LindgeW/MetaAug4NER

Intro

命名實體識別旨在從非結構化文本中抽取預先定義的命名實體，是 NLP 的一個基礎任務。近期，基于神經網絡的方法推動 NER 任務不斷取得更好的表現，但是其通常需要大規模的標注數據，這在真實場景中是不現實的，因此小樣本設置的 NER 更符合現實需求。? ? 數據自增強是一個小樣本任務可行的解法，對于 token-level 的 NER 任務，token 替換和表征混合是常用的方法。但自增強也有局限性，我們需要為每種特定的自增強方法單獨進行一些設計來降低自增強所帶來的噪聲，緩解噪聲對效果的影響。本文提出了 meta-reweighting 框架將各類方法聯合起來。? ? 首先，放寬前人方法中的約束，得到更多偽樣本。然而這樣會產生更多低質量的增強樣本，為此，我們提出 meta reweighting 策略來控制增強樣本的質量。同時，使用 example reweighting 機制可以很自然的將兩種方法結合在一起。實驗表明，在小樣本場景下，本文提出的方法可以有效提升數據自增強方法的效果，在全監督場景下本文的方法仍然有效。 ?

Method

2.1 Baseline

本文的 basic 模型使用 BERT+BiLSTM+CRF 進行 NER 任務。首先給定輸入序列，使用預訓練的 BERT 得到每個 token 的表征。

? ? 然后使用 BiLSTM 進一步抽取上下文的特征： ?

最后解碼過程使用 CRF 進行解碼，先將得到的表征過一層線性層作為初始的標簽分數，定義一個標簽轉移矩陣 T 來建模標簽之間的依賴關系。對于一個標簽序列，其分數計算如下： ?

其中 W、b 和 T 是模型的參數，最后使用維特比算法得到最佳的標簽序列。訓練的損失函數采用句子級別的交叉熵損失，對于給定的監督樣本對 (X, Y)，其條件概率 P(Y|X) 計算如下：

其中為候選標簽序列。

2.2 自增強方法

2.2.1?Token Substitution（TS）

token 替換是在原始的訓練文本中對部分 token 進行替換得到偽樣本。本文通過構建同義詞詞典來進行 token 替換，詞典中既包含實體詞也包含大量的普通詞。遵循前人的設置，我們將所有屬于同一實體類型的詞當作同義詞，并且添加到實體詞典中，作者將其稱為 entity mention substitution (EMS)。同時，我們也將 token 替換擴展到了“O”類型中，作者將其稱為 normal word substitution (NWS)。作者使用 word2vec 的方法，在 wikidata 上通過余弦相似度找到 k 個最近鄰的詞作為“O”類型詞的同義詞。這里作者設置了參數（此參數代表 EMS 的占比）來平衡 EMS 和 NWS 的比率，在 entity diversity 和 context diversity 之間達到更好的 trade-off。 ?

2.2.2?Mixup for CRF

不同于 token 替換在原始文本上做增強，mixup 是在表征上進行處理，本文將 mixup 的方法擴展到了 CRF 層。形式上，給定一個樣本對和，首先用 BERT 得到其向量表示和。然后通過參數將兩個樣本混合：