前言

文本相似是NLP工業化中的一個基本任務，很多應用需要計算兩文本之間的相似程度，包括文本檢索中相似文本的去重、問答系統中query與標準模板問題的匹配、句子對語義判斷等。

根據不同的標準可以將該任務劃分為不同的類別：如根據文本長度的不同，可分為短文本相似度（短語/句子級）和長文本相似度（段落/文章級）；又如根據特征工程的構建方式不同，可分基于統計特征生成（TF/TF-IDF/Simhash）和基于語義的特征模型（word2vec、doc2vec）。同樣相似度的計算方式也有多種，如最小編輯距離、歐氏距離、漢明距離、余弦距離等。本期文章以新聞類數據相似任務的實際開發過程為順序展開介紹。

統計特征 + 漢明距離

《Detecting near-duplicates for web crawling》

Simhash是一種局部hash算法，在2002年被Charikar提出，谷歌在2007年將該算法用于識別相似內容網頁數據上，證明了Simhash在該類問題上的實用性。Simhash的核心思想是，通過分詞選用文中關鍵詞來代表一篇文章，然后將這些關鍵詞hash編碼為固定長度的二進制序列，然后在通過設置好的權重對關鍵詞的編碼進行加權，簡單合并后再次降維為二進制數據，最后通過漢明距離計算不同文章之間的相似性。至于Simhash的數學推導在各個博客中都有較為詳細的介紹，這里便不再贅述。其中，有關關鍵詞選取和權重設置上，目前常見的方式是計算文章中各個詞的TF-IDF值，取topN的內容作為關鍵詞，并以TF-IDF值做為權重。

上述以統計特征結合漢明距離的方式能夠在一定程度上反應文章的相似性，但在實際嘗試中仍舊存在部分問題。

TF-IDF算法是創建在這樣一個假設之上的：對區別文檔最有意義的詞語應該是那些在文檔中出現頻率高，而在整個文檔集合的其他文檔中出現頻率少的詞語。如果特征空間坐標系取tf詞頻作為測度，就可以體現同類文本的特點。引入了逆文本頻度idf的概念，以tf和idf的乘積作為特征空間坐標系的取值測度，并用它完成對權值tf的調整，調整權值的目的在于突出重要單詞，抑制次要單詞。

從理論上講，Simhash最重要的一步在于如何選取有代表性的關鍵詞。在分詞時使用的TF-IDF算法，本質上idf是一種試圖抑制噪聲的加權，并且單純地認為文本頻率小的單詞就越重要，文本頻率大的單詞就越無用，顯然這并不是完全正確的。idf的簡單結構并不能有效地反映單詞的重要程度和特征詞的分布情況，其無法很好地完成對權值調整的功能，所以TF-IDF法的精度并不是很高。

從實際測試結果上講，在醫藥領域中，某些關鍵詞語存在相近的含義、某些代表醫藥項目進度的詞匯或者表示否定語義的詞匯內容會很大程度上左右兩篇文章的相似結果。這些因素在Simhash算法中都無法加以顯式的考慮和控制。

語義特征 + 余弦距離

《Distributed Representations of Sentences and Documents》

在最開始的嘗試中，提及了基于IF-IDF的Simhash算法無法提供文章或者詞匯中的語義信息。想要利用文章或詞匯中的語義信息自然想到了word2vec。word2vec是基礎的文本表示方式之一。如果對一篇文章進行embedding，那么詞向量直接平均或采用tf-idf進行加權平均都能夠得到一篇文章的向量表示。但考慮到上述在Simhash中對TF-IFDF加權能力的分析，還是希望能夠得到一種更加細粒度的向量表示方法。

上述提及的這篇文章，作者受word2vec的啟發，提出doc2vec。模型能夠學習長文本的連續向量表示，并適用于句子、段落和文章等不同長度的文本數據。具體的做法便是，提出了一種稱為 the Distributed Memory Model of Paragraph Vectors（PV-DM）的模塊部分，該部分存儲不同段落的特征向量，該向量與窗口內其他詞向量拼接輸入模型，進行梯度更新。

doc2vec的優勢在于能夠在大規模的語料上無監督訓練、考慮到了詞義信息并具備局部(窗口大小)的語序信息。缺點在于文本向量D'也是需要有反向傳播的過程，若未進行隨機化固定，每次產生的文本向量會不同，影響文本相似度的計算。此外，從實際的結果上看，doc2vec與word2vec一樣有OOV問題，對于一些固定結構，詞不同的文本來說，很容易產生相同的文本向量。

語義特征 + 主題信息 + 余弦距離

《P-SIF: Document Embeddings Using Partition Averaging》

結合具體任務所設計的數據內容，我們發現與傳統文本內容相比，新聞數據所表述的是一個主題明確的事件。如醫藥公司某產品研發進度、不同醫藥公司之間的合作事宜等等。因此，在向量表示中加入主題信息，也能夠影響文章的相似性。

上述提及的該文章認為，使用詞向量的加權平均傳統方式對句子語義信息的表示具有較好的效果，但采用同樣的方法對文章級別的語義表示效果不佳。主要原因在于文本中包含有表征不同主題的word，不同主題下的word向量其對應的權重因子不同。因此作者提出P-SIF，通過主題聚類的思想，產生不同主題下的權重因子，對每個主題下的詞向量進行concat，作為該word的最終向量表示。

圖中舉例了5種文本主題下的主題權重分布，對應不同主題下，有不同的主題權重。單個主題對應的詞向量采用w2v、tf-idf、主題權重因子的乘積表示，最終文本表征表示為各個詞向量的加權求和即可。其中主題權重因子采用ksvd的方法分解得到，需要指定主題的數目。

在實際的測試過程中發現，加入了主題這個變量，可以更細粒度的表征文本，相比基于tf-idf的w2v表征文本是一種進步；缺點主要包括OOV、主題數不好確定，語義表征能力不足，特別是對各個詞向量加權求和的文本表征不容易平衡單個詞的關鍵作用。例如 對于兩篇文章基本雷同，但涉及的某個關鍵詞不同，得到的兩篇文章的相似性會比較高，如果這個詞在訓練階段沒有收錄到詞典，則會出現相似度為1的情況。需要借助后續關鍵詞識別的策略，進行文本間區分，補充其表征能力不足的問題。

語義特征 + 主題信息 + 余弦距離 + 實體信息

如果繼續深挖新聞數據有什么特征，那么必定會考慮到新聞數據特點，即規范的新聞都會有五個基本的要素：時間、地點、事件、起因、人員（或組織）。因此，如果能夠從新聞的導語或者標題內容中對上述關鍵因素進行抽取，那么就能較準確地判斷兩新聞之間的相似與否。故此，在實際開發的過程中，我們嘗試在 「語義特征 + 主題信息 + 余弦距離」方案的基礎上，增加對通用實體類型的抽取。

實體內容的抽取在本任務中起到是一個提供輔助信息的作用。因此暫時并沒有講該模塊和文章的embedding表示有過于緊密的結合。對于NER的抽取任務，可參考過往我們在《中文NER碎碎念—聊聊詞匯增強與實體嵌套》?的討論，本文不再展開贅述。

預訓練語言模型獲取語義特征

對于語義相似的任務，在工業生產中很難獲得大量的標注數據用于有監督的訓練。為了提升模型語義表征能力，我們還可以把視線投向大規模預訓練的語言模型上。這里也僅提供一個思路，嘗試使用無監督語義相似度的BERT-flow或者BERT-whitening來獲取語義特征。

《On the Sentence Embeddings from Pre-trained Language Models》

考慮到，在得到句子的向量表示后，常常使用余弦相似度來比較或者排序。但余弦相似度是在標準正交基中使用的。因此，如果想要使用BERT所得到的句向量來衡量句子之間的相似性，需要使得向量空間的基底在各個分量上是均勻的、獨立的，表現出來一種“各向同性”的特質。flow模型實際上是一個向量變換模型，而作者主要的想法是要用flow模型來校正BERT得到的句向量的分布。

《Whitening Sentence Representations for Better Semantics and Faster Retrieval》

BERT-whitening則認為，flow模型中涉及到的逆變換和雅可比行列式計算實際需要滿足變換簡單、易計算的特點。因此每一層的非線性變換能力就“很弱”，為了保證充分的擬合能力，模型就必須堆得非常深。但實際上BERT-flow所使用的模型計算量并大。因此，作者提出可以使用一種簡單的線性變換（相當于白化操作）來淺層地對BERT的向量進行轉換，能到達和BERT-flow接近甚至超越的效果。

總結

新聞長文本的表征可以用于相似度的計算、文本分類、文本聚合等方向，目前筆者做的方向是相似度去重，即從海量的新聞中發現相似的醫藥新聞，提升關鍵數據的采集和處理效率。相似新聞包括兩個含義，一方面是字符級別的相似，可以直接采用基于字符的對比方法，如Simhash、編輯距離等，其難點在于部分新聞存在篇幅，部分關鍵詞不同。另一方面是新聞涉及的事件相似，字符相似度不高，這種不僅需要有一定的語義理解，同時需要有關鍵實體的識別。基于大規模訓練的語言模型對語義的理解天生要高于字符和基于w2v的方式，而預訓練模型在長文本的復雜度和效果的突破將直接為長文本的下游處理帶來新的方向。

審核編輯 ：李倩

?