作者：楠楠楠楠x

清華大學最新發布了一篇關于大模型安全的論文，不同于以往大部分專注于挖掘大模型可能輸出的顯式有害內容的工作。這篇論文將目光投向了研究更少，更難被檢測到的隱式有害內容。

隱式有害內容指那些使用委婉語，拐彎抹角，諷刺，隱喻，成語來輸出有害觀點，而不使用明顯不合適的詞語的有害文字，這里給出兩個例子。

通過使用提示詞工程向ChatGPT提問，居然可以讓ChatGPT輸出認為童工合理的內容（雖然并沒有使用任何讓人感到不適的詞語），這顯然是不符合任何一個國家的政治正確的（笑）。通過這種方式，我們可以讓ChatGPT等大模型輸出涉嫌歧視/帶有敏感話題/攻擊用戶等類型的有害內容，想想就很可怕捏。

顯然這種隱式的有害內容更難被現有的SOTA有害內容檢測模型檢測到，因為這種內容要求檢測模型擁有更強大的語言理解能力，而不是簡單的使用keywords來檢測有害內容。

清華大學研究團隊做了什么？

定義了一種新的大模型安全問題，即隱式有害內容輸出。

研究團隊使用SFT和RLHF的方式進一步的讓大模型更容易輸出隱式有害內容以進一步研究。并且揭示了大模型被惡意利用的可能性。

研究團隊訓練得到的模型輸出的隱式有害內容打敗了一系列的有害內容檢測模型，以極高的攻擊成功率達成了一種另類的SOTA。

研究團隊還使用了經過標注的隱式有害內容數據集訓練檢測模型，成功提高了它們檢測隱式有害內容的能力。

圖1：SL LLaMA-13B以及RL LLaMA-13B即作者團隊通過訓練得到的新模型。攻擊任何一個檢測模型，都以極高的攻擊成功率打敗了所有baselines。另外，使用零樣本的提示詞工程也能讓GPT-3.5-turbo達成極高的攻擊成功率。

模型是如何被訓練的？

作者團隊使用了大模型訓練的經典三階段范式來訓練模型，也就是：預訓練 -> 監督微調 -> 人類反饋強化學習的三個階段。當然，作者通過直接使用LLaMA模型跳過了預訓練的過程。

監督微調

作者團隊使用現有的帶有有害內容的對話數據集和GPT-3.5-turbo來獲取進行監督微調的數據集。具體來說，作者拋棄了原數據集中的模型回答部分（因為這些回答主要包含的是顯式有害內容），然后使用零樣本的提示詞工程讓GPT-3.5-turbo生成隱式有害內容作為回答。

然而經過監督微調的模型，仍然會輸出不帶有有害內容或者帶有顯式有害內容的回答。這并不符合我們對模型的期待，也為使用rlhf提供了必要性。

人類反饋強化學習

這是筆者認為本文novelty體現比較多的地方。作者團隊希望通過強化學習鼓勵模型輸出帶有隱式有害內容的回答而不是帶有顯示有害內容或者不帶有有害內容的回答。

為了做到這一點，最簡單自然的強化學習方式便是直接使用有害內容檢測模型輸出的分類可能性作的負值為獎勵（因為帶有隱式有害內容的回答相比帶有顯示有害內容的回答經過檢測模型后得到的分類可能性更小，因此可以用以作為獎勵）。然而這樣做，會更加鼓勵模型輸出不帶有有害內容的回答，而不是更鼓勵輸出我們期待的隱式有害內容。

非常自然的，作者想到了訓練獎勵模型來進行rlhf。訓練方法如下：

圖2：模型訓練過程

針對某個問題x，輸入被獎勵模型(Policy Model)得到k個回答。

GPT-3.5-turbo對這k個回答進行標注，將每個回答標注為三種類型，分別為：帶有隱式有害內容，帶有顯式有害內容，不帶有有害內容。

利用k個回答中被標注為帶有隱式有害內容的數據來構建強化學習數據對。值得注意的是，這與經典的rlhf方式有所不同，并不是針對k個回答構建個強化學習數據對。而是使每個數據對中必須含有一個帶有隱式有害內容的回答，該回答將會作為，而另一個回答作為。

使用上一步得到的數據集來訓練獎勵模型，訓練loss為，也就是最大化與的獎勵差。

為了進一步提高被獎勵模型攻擊檢測模型的攻擊成功率，作者使用了有害內容檢測模型針對回答x輸出的檢測可能性來構建新獎勵，其中是一個超參數。

為了防止被獎勵模型的參數被過度更新，作者還使用了KL散度來懲罰獎勵，并引入了超參數來控制KL散度懲罰的大小。

實驗

實驗設置

作者使用了來自BAD數據集的6000條可能引起模型輸出有害內容的人類提問作為實驗數據。

使用了LLaMA-13B來訓練模型和獎勵模型，使用BAD模型作為有害內容檢測模型。

圖3：實驗主要結果

直接分析實驗結果，我們可以發現以下信息：

經過監督微調和人類反饋強化學習的RL LLaMA-13B輸出的回答得到的獎勵是最高的，人類標注員標注的Annotated Toxic Prob.成績也是最高的，并且對任意一個有害內容檢測模型都達成了極高的攻擊成功率。這說明了兩點：

經過監督微調或提示詞工程的大模型有強大的突破有害內容檢測模型的能力

人類反饋強化學習能夠進一步提高大模型的上述能力

使用一個檢測模型輸出的作為獎勵的一部分能夠極大提高大模型攻擊任意一個檢測模型的能力。

除此之外，作者還做了一系列的補充實驗。

圖4：原獎勵與均能提高強化學習的效果

圖5：越大的模型有越高的輸出隱式有害內容的潛力

圖6：超參數和超參數的恰當選擇對訓練效果至關重要

審核編輯：黃飛

?