上個月，OpenAI 發布其最新語言模型——GPT-2，但因為擔心它可能被用來制造大量偽造和虛假的信息，頗為戲劇性地決定不開源該模型。

這一決定也使得 AI 社區開始討論：如何檢測這類虛假新聞。

在一項新實驗中，來自麻省理工學院-IBM Watson 人工智能實驗室和哈佛大學自然語言處理實驗室的研究人員思考，能夠生成如此逼真的文本的語言模型，是否可以用來檢測其他語言模型生成的文本的真假。

圖 丨 OpenAI GPT-2 生成的假新聞。（來源：HENDRIK STROBELT AND SEBASTIAN GEHRMANN）

這個假設背后的想法很簡單：語言模型通過不斷預測單詞序列中的下一個概率最大的單詞來產生句子。因此，如果某個語言模型能夠輕松地預測某一段落中的大部分詞語，那這段文本很可能就是這個語言模型生成的。

研究人員通過構建基于 OpenAI GPT-2 開源的小模型的交互式工具來測試他們的想法。當為該工具提供一段文字時，它會讓每個單詞高亮不同的顏色，從綠色到黃色到紅色，表示預測幾率逐漸下降；如果語言模型根本沒有預測出某一單詞，它會用紫色高亮該單詞。所以從理論上講，紅色和紫色詞的越多，該文本由人類書寫的概率就越大；如果綠色和黃色詞的份額越大，該文本由語言模型生成的概率就越大。

圖 丨 OpenAI GPT-2 小模型生成的文本。（來源：HENDRIK STROBELT AND SEBASTIAN GEHRMANN）

事實上，研究人員發現，GPT-2 的小模型和完整版本的模型所寫的段落幾乎完全是綠色和黃色，而人類寫的科學文摘和美國入學標準化測試中閱讀理解段落中的文字有很多紅色和紫色。

圖 丨 美國入學標準化測試中的閱讀理解短文，由人類書寫。（來源：HENDRIK STROBELT AND SEBASTIAN GEHRMANN）

但事情沒有想象中的簡單。Janelle Shane 是一位負責運營“Letting Neural Networks Be Weird“博客的研究員，她并未參與前文所述的研究。她將該工具用于更嚴格的測試，不僅僅提供 GPT-2 生成的文本，還提供了由其他語言模型生成的文本，包括一個用亞馬遜評論訓練的模型和一個用《龍與地下城》語料訓練的模型。

她發現，這個工具無法預測每個段落中的大部分單詞，因此該工具認為這些文本是人類寫的。這說明一個重要觀點：語言模型可能擅長檢測自己的輸出，但不一定擅長檢測其他語言模型的輸出。

看來，人類打擊互聯網假新聞還是任重道遠啊。