作者：無窮小敏

今天要給大家介紹一篇OpenAI的在今年4月19日發表的一篇研究，該研究提出了一種指令層次結構（instruction hierarchy），以減少LLM被攻擊的風險，提高模型的魯棒性。

可能有些小伙伴平時更關注大模型的性能，但是大模型安全在工業界，特別是AI模型落地時，是非常重要的一個考量。例如之前很火的prompt攻擊方式“奶奶漏洞”，通過讓GPT扮演奶奶睡前講故事，可以套路GPT，讓他說出某些正版軟件的密鑰。很顯然這會給LLM公司帶來法律風險。雖然這種直接注入漏洞已經被修復了，但是現在LLM結合工具/Agent之后，會有更多間接注入攻擊讓我們的LLM沒有按照希望的方式去工作。

為了解決這個問題，這篇研究提出了一種指令層次結構（instruction hierarchy）。它明確定義了不同指令的優先級，以及當不同優先級的指令發生沖突時，LLM應該如何表現。通過這種方式，LLM會區別開系統指令和來自不受信任用戶的指令之間的優先級，而不是像之前一樣對所有的prompt都一視同仁。再根據優先級沖突時制定的策略以規范LLM的表現，從而減少LLM被攻擊的風險。

這篇研究還提出了一種自動數據生成方法，來演示這種層次指令的跟蹤行為，從而教會LLM有選擇地忽略權限較低的指令。實驗表明在幾乎不影響LLM的標準能力的情況下，極大地提高了模型的魯棒性。特別是即使在對訓練期間從未見過的攻擊類型也是如此！說明這種方法在應對未知的攻擊時也是有一定的泛化性的。

接下來讓我們一起跟隨研究者的腳步，看看這篇研究是如何提出指令層次結構，設計自動數據生成方法的吧~

指令層次結構

LLM之所以會受到prompt注入、越獄等攻擊，主要原因是LLM通常認為系統提示與來自不受信任的用戶和第三方的文本具有相同的優先級。這樣當然會導致LLM把不安全的prompt當成和系統提示同樣重要的指令來工作。從而給了prompt攻擊以可趁之機。以下是個例子：

從上圖可以看到，通過工具輸出（Tool Output）間接實現了prompt注入攻擊。背后的機制在于LLM缺乏指令特權（instruction privileges）。即缺乏對指令優先級的定義。因此這篇研究將不同類型的指令賦予了不同的優先級，具體而言：系統消息優先于用戶消息，用戶消息優先于第三方內容（如工具輸出）。如下圖所示:

理想模型行為

當存在多個指令時，較低特權的指令可能與較高特權的指令對齊或不對齊。理想的模型應該根據與較高級別指令的一致性，有條件地遵循較低級別的指令。

對齊指令，即與更高級別的指令具有相同的約束、規則或目標的指令。因此需要LLM遵守這一指令；

不對齊指令，即和更高級別的指令有沖突的指令。例如上圖中ToolOutputs中的Web Reuslt1并沒有回答用戶問題（這是系統級指令），而是嘗試提取對話記錄。我們希望LLM忽略，或者拒絕遵守這種提取對話記錄的指令。

讀到目前為止，這篇研究的動機還是很直觀的，接下來我們一起看看具體是怎么做的吧~

數據生成方法

為了有效地將指令層次結構融入LLM，需要用具有層次結構的指令數據微調LLM，所以本篇提出了創建層次結構的指令訓練數據的方法，該方法使用了上下文綜合（Context Synthesis）上下文忽略（Context Ignorance）和兩種策略：

上下文綜合（Context Synthesis）：對于對齊指令，將指令分解成更小的部分，然后將分解后的小指令放置在層次結構的不同級別，微調模型來預測真實的響應；（例如將“用西班牙語寫一個20行的詩”分解成更小的指令片段，如“寫詩”、“使用西班牙語”、“使用20行”，然后將這些指令放到不同的層級中。）

上下文忽略（Context Ignorance）：對于未對齊指令，會采取完全相反的方法：訓練LLM，當它從未見過低級別的指令時，生成相同的答案。

生成數據時，注意不要觸發過度拒絕行為，即對于對齊的低層次指令，模型也拒絕遵守或執行。因為這會極大地損害模型的指令遵循能力。

對于對齊的指令，我們將指令分解成更小的部分，然后放入層次結構的不同級別。如下圖所示，將一段定期檢查銀行狀態的指令放入用戶層級中。對應LLM而言，應該表現的就好像它在系統消息中看到了整個組合指令(System Message + UserInput)一樣；所以它的輸出也會提醒用戶定期檢查。

對于沒有對齊的低層次指令（例如用戶的輸入），我們讓模型的輸出為拒絕訪問或者直接忽視，如下圖所示，用戶層級試圖直接prompt注入攻擊，LLM應該忽略或者拒絕回答，所以它輸出我無法幫助您。

注：由于篇幅有限，其他領域攻擊方式的數據構造模板請閱讀原文哦。

通過這兩種策略，我們就可以構建層次結構的指令供大模型微調啦。接下來看看實驗是怎么做的。

實驗結果

實驗方法：有監督微調+基于人類反饋的強化學習(SFT+RLHF)

模型：GPT-3.5 Turbo

數據：上述生成數據

Baseline LM：為了評估指令層次結構的有效性，選擇了一個類似的模型做微調，但是它的數據沒有采用指令層次結構。

研究使用監督微調和基于人類反饋的強化學習，對上述數據微調了GPT-3.5 Turbo以觀察模型的魯棒性，作為對比，作者還微調了一個類似的模型作為BaselineL。唯一的區別在于Baseline LM沒有使用層序結構的指令作為訓練數據，而是正常的指令數據。下面我們來看看結果：

主要結果

如下圖所示，指令層次結構訓練的模型在各種攻擊中具有顯著更高的魯棒性。最高提高了63.1%！

泛化結果

在訓練期間，雖然沒有為越獄攻擊（jailbreaks）構建指令層次結構的訓練數據。但是根據下圖的實驗結果，依然將魯棒性提高了34%，這說明LLM學會了指令層次的結構，對未曾見過的prompt也有一定的泛化性。

過度拒絕結果

由于上文提到的創建訓練數據的方法會比較容易導致過度拒絕的問題，所以需要和BaselineLM比較下大模型遵循指令的性能。如下圖所示，在遵循不沖突的指令的性能方面，基本上和Baseline匹配，沒有出現模型行為的明顯下降。

總結

這篇論文提出了一種新的框架，即指令層級，用于提高 LLMs 的安全性和魯棒性，同時保持其遵循正常指令的基本能力不受損害。并且通過實驗驗證了他們的方法比當今LLM的現狀有了巨大的進步。

審核編輯：黃飛

?