TL; DR

在情感分類中，一些good features，比如”good“、”nice“表示積極，”bad“、“terrible”表示消極。但是，還有許多common features，比如voice、screen就沒有特別的情感性。

盡管深度學習擁有強大的representation learning（表征學習，即同一個數據用不同的表示形式）。但我們認為還有可以改進的地方。

在本文中，我們提出了一種新的角度來進一步改善這種表示學習，即特征投影（feature projection）：將現有特征投影到common特征的正交空間中。

所得的投影向量垂直于common特征，能更好的進行分類。

將該方法用于改進基于CNN，RNN，Transformer和Bert的文本分類模型，獲得更好的結果。

網絡結構

Feature Purification Network 特征凈化網絡

模型分為兩部分：

projection network (P-net)；

common feature learning network (C-net)

P-net：計算凈化的向量特征，通過將學習到的輸入文本的信息向量投影到更具區分性的語義空間中來消除共同特征的影響。

C-net：提取common features。

P-net由四部分組成：

輸入層X

特征提取器Fp

正交投影層（OPL，Orthogonal Projection Layer）

分類層Cp

C-net也由四部分組成：

輸入層X

特征提取器Fc（Fp和Fc的參數不共享）

漸變反向層（GRL，Gradient Reverse Layer）

分類層Cc

技術的關鍵思想如下：

P-Net中特征向量fp投影到C-Net的fc的正交方向上。也就是說，將fp（從輸入文檔中提取的完整信息）投影到更具區分性的語義空間中，以進行最終分類。

圖2：正交投影層的工作方式。這里的示例是在二維空間中。

fp表示傳統特征向量;

fc表示公共特征向量;

fp?是投影特征向量;

fp~是最終的正交投影特征向量。

我們首先將傳統特征向量fp投影到共同特征向量fc，得到fp?。

等式9中的fp?即表示對共同特征向量fc的約束。

再將fp投影到fp-fp*得到fp~

也就是說：通過將輸入的傳統特征向量fp投影到公共特征向量fc來限制公共特征向量的模，因此新的公共特征向量fp*的語義信息僅包含xi的公共語義信息。

這使得最終的純化特征向量fp~來自傳統特征向量fp，而不是與公共特征向量fc正交的任何平面中的任何向量。

最后，我們使用純化的特征向fp~進行分類。

Experiments實驗

1 實驗使用數據集

2 Baselines模型

用LSTM、CNN、Transformer和BERT等基準模型進行對比實驗，已驗證特征投射的有效性。

3 實施細節

首先，我們將實驗中的所有詞嵌入隨機初始化為200維向量，然后在訓練過程中進行修改（Bert除外）。對于每種類型的特征提取器，我們具有以下配置：

對于RNN模型，使用兩層LSTM進行特征提取，每層的hidden state=256；

對于CNN模型，為了獲得更多的細粒度特征，我們分別使用了[2,3,4,5,6]的濾波器大小，每個濾波器都有100個特征圖。

對于Transformer的模型，我們使用Transformer的編碼器作為特征提取器，使用單頭和3個block。

對于Bert模型，我們微調了預訓練的基于Bert的參數。這些設置與FP-Net中的基線完全相同。

在C-net模塊的訓練中，我們以0.9為初始學習率的隨機梯度和隨后的退火學習率（Ganin and Lempitsky，2014）。

其中，訓練進度p從0線性變化為1，l0 = 0.01，α= 10和β= 0.75。在GRL中，超參數λ為[0.05,0.1,0.2,0.4,0.8,1.0]。

4 實驗結果

5 消融實驗與分析

消融實驗類似于“控制變量法”。假設在某任務中，使用了A，B，C，取得了不錯的效果，但是這個時候你并不知道效果是由A，B，C中哪一個起的作用，于是你保留A，B，移除C進行實驗來看一下C在整個任務中所起的作用。

結論

在本文中，我們提出了一種新的特征凈化網絡（FP-Net），以改進文本分類的表示；

該方法基于特征投影。所提出的模型使用兩個子網，一個用于識別對分類沒有區別的共同特征common features，另一個用于將傳統特征投射到共同特征的正交方向的特征投影；

我們當前的方法僅用于傳統文本分類方法，例如LSTM，CNN和Transformer。在未來的工作中，我們將考慮將其擴展到基于圖的方法（例如用于圖形數據的GCN），以及擴展到基于生成的方法（例如用于對抗性學習的GAN）。

責任編輯：lq