4. FELIX

FELIX是Google Research在“FELIX: Flexible Text Editing Through Tagging and Insertion”一文中提出的文本生成模型，該論文發表于EMNLP 2020 Findings。
受限于有限的編輯操作標簽，LaserTagger、Seq2Edits主要進行單詞或短語的保留、刪除、替換操作，更多的是對文本的局部編輯，無法直接改變文本的結構特征（例如主動句改被動句：“They ate steak for dinner.” “Steak was eaten for dinner.”）。

同時，受限于詞典規模，LaserTagger與Seq2Edits也不支持大量插入新文本。而如果使用自回歸的方法來支持大量插入新文本，勢必大大降低模型的推理速度。所以，FELIX希望能夠兼顧文本生成的推理速度和靈活性。

本篇工作的主要改進有：
（1）在保留、刪除等基本編輯操作上引入重排序（reorder）操作。通過重排序操作，在復用重復文本的同時實現文本結構特征的改變，提高文本生成的靈活性。
（2）受BERT自監督預訓練任務啟發，通過引入Masked Language Model（MLM）來預測待插入的新詞。

4.1 主要方法

FELIX將文本生成分為兩步：通過標注模型（tagging model）對源文本標注編輯標簽后進行重排序，然后輸入插入模型（insertion model）對要插入的新文本進行預測。

標注

以圖10為例，源文本為 “The big very loud cat.” ；目標文本為 “The noisy large cat.” 。其中為tagger模塊預測的標簽序列；為經過Pointer重排序后加入特殊標簽（, ）得到的序列，將輸入插入模型預測得到最終結果。

圖 10 FELIX對插入文本的兩種預測方式

FELIX對編碼后的源文本進行標注，保留操作和刪除操作標簽仍為和。結合MLM，FELIX設計了兩種方式預測要插入的新文本：Masking 和 Infilling 。Masking 方式不僅需要模型預測插入內容，還需要模型預測插入文本的長度（如，對應中加入兩個標簽）。

Infilling 方式直接讓模型預測待插入的新文本的內容，不需要模型預測插入文本的長度。即，在中插入固定個數的標簽（實驗中插入8個即可覆蓋99%的樣本），預測插入內容時多余的標簽使用標簽覆蓋。

需要注意的是，在將輸入到MLM進行預測時，FELIX保留了待刪除的span（用一對特殊的token 和 將span括起來，而非直接將待刪除部分替換為標簽）。即使這樣做會導致fine-tuning和pre-training的不一致，但能夠保留更多的語義信息，提高模型預測的準確性。

重排序

為了保證推理效率，FELIX的重排序也是非自回歸（non-autoregressive）的，類似于non-projective dependency parsing。具體實現時使用constrained beam search來保證除了待刪除的token外，每一個token都會被指向，且避免有token被指向兩次而產生循環。

4.2 模型概述

FELIX tagging model:

Encoding: 使用12層的BERT-base模型對源文本進行編碼。

Tagging: 使用一層feed-forward layer預測標簽。

Pointing: 基于注意力機制的pointer network進行重排序。

FELIX insertion model:

12層的BERT-base模型。并使用預訓練權重進行初始化。

5. 實驗評價

三篇工作分別在句子融合、句子分割復述、語法糾錯等多種文本生成任務上進行了實驗，主要驗證了模型在三方面的性能：生成文本的質量、模型推理效率以及模型在小樣本上的表現。

5.1 生成質量

句子融合 & 分割復述

三篇工作均在句子融合任務上進行了實驗，使用數據集為DiscoFuse，評價指標為SARI、Exact。其中SARI將預測輸出與輸入文本以及reference比較，評價模型對源文本進行各種編輯操作后生成文本的“好壞”；Exact主要評價模型生成的文本和標準答案之間“有多接近”。

從上表中可以看出，基于編輯方法的生成模型較之傳統full sequence model在生成文本的質量上有下降，但改進后的Seq2Edits和FELIX在兩項指標上已經和full sequence model十分接近。

LaserTagger和Seq2Edits均在句子分割復述任務上進行了實驗。該任務為句子融合任務的逆任務，使用數據集為WikiSplit 。Seq2Edits在該項任務上表現較優。

文本簡化

Seq2Edits和FELIX均在文本簡化任務上進行了測試，并與LaserTagger進行了對比。該任務需要在保持源文本基本語義的情況下，通過改寫降低源文本的復雜度，以方便兒童等特殊群體閱讀。實驗使用數據集為WikiLarge，評價指標為SARI。在該項任務上FELIX有著較好的表現。

5.2 推理效率

在推理效率方面三篇工作均與傳統full sequence model進行了對比實驗，結果證明相較于傳統seq2seq方法，基于編輯方法確實能夠大大提高模型的推理速度。在推理速度上對三種模型進行橫向對比，FELIX最優，而Seq2Edits由于模型本身的復雜性，在三者中速度最慢（FELIX > LaserTagger > Seq2Edits）。

5.3 小樣本表現

LaserTagger和FELIX兩篇工作均在小樣本訓練數據上測試了模型性能。相比full sequence model而言，LaserTagger和FELIX兩者對訓練數據規模變化并不敏感（訓練數據規模從45k縮小到4.5k時full sequence model性能出現了較大下降），且在小樣本數據上FELIX表現要好于LaserTagger。

6. 總結

基于編輯方法的文本生成優勢與不足主要如下：

未來工作的關鍵在于生成質量和推理效率的對立統一。目前基于編輯方法使用非自回歸預測輸出時，雖然能夠提高推理效率，但勢必會損失生成文本的質量。因此，質量和效率盡量做到“魚與熊掌二者兼得”將成為未來研究工作的希冀。

References

［1] Malmi, Eric, et al. "Encode, tag, realize: High-precision text editing." arXiv preprint arXiv:1909.01187 (2019).

［2］ Stahlberg， Felix， and Shankar Kumar. “Seq2Edits： Sequence Transduction Using Span-level Edit Operations.” arXiv preprint arXiv:2009.11136 （2020）。

［3］ Mallinson， Jonathan， et al. “Felix： Flexible text editing through tagging and insertion.” arXiv preprint arXiv:2003.10687 （2020）。

［4］ https://ai.googleblog.com/2020/01/encode-tag-and-realize-controllable-and.html

［5］ https://ai.googleblog.com/2021/05/introducing-felix-flexible-text-editing.html

［6］ https://thinkwee.top/2021/05/11/text-edit-generation/

編輯：jq