01

研究動機

抱怨是一種表達現實和人類期望之間不一致的言語行為[1]。人們會根據情況的嚴重性和緊迫性，用抱怨來表達他們的擔憂或不滿。輕微的抱怨可以達到發泄情緒以促進心理健康的目的，但嚴重的抱怨可能會導致仇恨甚至欺凌行為[2]。之前的研究主要集中在識別抱怨是否存在或其類型上，但是分析抱怨強度尤其重要，因為一定程度的抱怨可能會對公司或組織造成嚴重的負面后果。

圖1 Jin數據集中同類別抱怨博文

在計算語言學中，先前的研究主要集中在建立自動分類模型來識別抱怨是否存在。Jin提供了一個數據集，基于語用學注釋了不同嚴重程度的抱怨博文，分別為“沒有明確的指責”、“反對”、“指責”、“指控”和“責備”[3]。在這些研究中，我們注意到一個缺失的部分是測量抱怨的強度。

為了說明這一點，我們展示了Jin最新數據集中的四個例子，如圖1所示：“我能向你抱怨我剛剛收到的咖啡嗎？”和“維珍媒體如往常一樣充滿謊言謊言謊言！！！”，這兩句話被分為同一類型“指控”，但顯然它們在抱怨的程度上是不同的。另一個例子是，“完全不酷”和“請盡快回復我的消息！！！”，這兩句都被歸類為“反對”，然而，后者明顯提出了更強烈的抱怨。

分析不同的抱怨水平是有利的。公司需要定期監控來自用戶的反饋，因為某些抱怨可能會嚴重影響其產品的聲譽。組織或政府需要監控民眾的抱怨，以了解他們的迫切需求。

02

貢獻

1、我們提出一個新穎的工作：即自動捕捉文本中抱怨強度

2、我們展示了第一個中文抱怨強度數據集，包含來自微博平臺的3103條數據。

3、通過一系列分析實驗進一步證明研究抱怨強度的必要性和重要性，以及一些有趣的實證發現。

4、我們展示了我們的數據集如何幫助預測社交媒體上博文的流行度。

03

數據標注

在這項工作中，我們使用Louviere and Woodworth（1991）提出的最佳最差比例法（Best-Worst Scaling, BWS）[4]注釋了抱怨強度。這種方法通過相互比較，可以比直接評分產生更穩定和細粒度的分數。類似的方法也被廣泛應用于計算語言學的各種任務中，例如測量攻擊性，親密度等等。我們通過簡單的計數百分比統計最終為每個博文分配抱怨強度評分，范圍從-1（最不抱怨）到1（最抱怨）。部分標注結果如圖2所示：

圖2部分數據標注結果

04

主實驗

我們建立計算模型來預測一個給定博文的抱怨強度，使用SVR,Bidirectional LSTM,和BERT, RoBERTa等預訓練模型。我們在兩種情況下評估模型的性能：(1)混合話題（Mix Hashtag），我們將來自不同話題的微博博文組合在一起；(2)交叉話題（Cross Hashtag），其中訓練、開發和測試集的博文與不同的話題分開。我們使用皮爾遜相關性和MSE（均方誤差）作為我們所有實驗的度量標準。實驗結果如圖3所示：

圖3用于評估預測抱怨強度的Pearson系數的r和均方誤差(MSE)

05

分析實驗

抱怨和情緒之間的差異

我們注意到更強烈的抱怨似乎與消極詞匯有關。先前的研究也指出，抱怨可以被視為一個有影響的情感維度[2].我們展示在標準情緒數據集上訓練的模型在我們的抱怨強度預測任務中表現情況，如圖4所示，使用來自情緒模型的概率分數在我們的抱怨強度預測任務中表現出不錯的表現，這表明了抱怨和情緒之間的明確聯系。同時在我們的標注語料庫上訓練的模型優于情緒模型，這證明了我們的工作的必要性。

圖4抱怨強度預測任務中情緒模型和抱怨模型的表現

抱怨可以加強情感分析任務

我們將抱怨分數作為一個附加的特性輸入被添加到模型中。從圖5中，我們觀察到具有抱怨特征的模型比原始模型表現得更好。表明一個簡單的附加組件可以提高非神經模型和傳統神經模型的情緒分類預測精度，分析抱怨可以有助于二元情感分析任務。

圖5二元情緒預測的結果（顯著性測試p-vlaue < 0.01, t-test）

06

跨語言分析

我們最新收集的抱怨強度數據集是中文的，而當前現有的數據集包含英文推文。這為我們提供了一個機會來了解在社交媒體上使用中文和英語的人在抱怨上的語言差異。

（1）直接和間接抱怨：中文博文中80%為間接抱怨；相反，英文推文91%的都是直接抱怨。

（2）策略：圖6顯示了不同語言的策略有所不同。我們發現，中文使用者更傾向于不補償策略，而英文使用者最常用的策略是補償策略。

圖6跨語言分析中不同策略所占百分比。

（3）諷刺：10%的中文數據包含諷刺，26%的英文數據包含諷刺。圖7展示了詞性分析，中文諷刺表達中名詞比例最高，其次是動詞；而在英文諷刺表達中，動詞最多，其次是名詞。此外，英語中的形容詞和副詞比中文的要多。

圖7跨語言分析的POS標簽的百分比

07

預測博文流行度

我們設想將抱怨強度分數納入現有的社交媒體監控系統中，以提高它們的預測準確性，證明了來自我們的計算模型的抱怨強度得分可以幫助估計社交媒體上的帖子流行度。

我們遵循Szabo的流行度計算方法[5]，使用早期流行度進行預測的基線，為了顯示我們的抱怨分數的有效性，我們添加了抱怨強度作為一個新的術語來估計最終的對數流行度，公式如下所示：

圖8顯示，我們結合了抱怨密度的方法優于基線方法。

圖8 RMSE和MAE的流行度預測

我們還展示了隨時間變化的單一話題下的流行度預測，如圖9所示。我們觀察到，增加了抱怨分數有助于更好地估計發布后的流行度，特別是在早期階段。這可能是因為抱怨可能會吸引用戶的注意力，以便參與討論，從而提高活動的流行度。

圖9比較實際的博文流行度和對單一話題的流行度預測

08

總結

我們提出了第一個測量文本抱怨強度的研究。我們構建了一個包含3103篇關于抱怨的中國微博文章的語料庫，并使用BWS方法標注了抱怨強度評分。然后，我們證明了我們的語料庫支持自動計算模型的發展，以準確的抱怨強度預測。此外，我們還研究了抱怨與情緒之間的聯系，并對中文和英文之間的抱怨表達進行了跨語言比較。我們最終證明，我們的抱怨強度得分有助于更好地估計社交媒體上的博文的流行度。

審核編輯：劉清