RAG（檢索增強生成）通過檢索系統找到用戶問題相關的信息片段，利用大模型綜合生成一個答案，極大解決了大模型幻覺、信息更新不及時等問題，已經成為了大模型落地的重要手段。

但在檢索過程中，往往會檢索到與問題極度相似、但又不包含答案或包含干擾答案的片段，這些答案無關片段對大模型生成答案有何影響呢？

今天正好刷到一篇相關文章，帶給大家《How Easily do Irrelevant Inputs Skew the Responses of Large Language Models?》

Paper:?https://arxiv.org/abs/2404.03302
Github:?https://github.com/Di-viner/LLM-Robustness-to-Irrelevant-Information

?

?

先放相關結論，后面補充相關細節。

與常見語義無關的答案無關片段相比，LLMs更容易受到高度語義相關的答案無關片段的影響；

隨著答案無關片段的增加，LLMs更容易分心，識別正確信息的能力降低；

LLMs對答案無關片段的的識別能力隨著問題格式的不同有所不同，自由式問答>是非性問答>多項選擇式問答；

系統提示詞中增加“忽略無關片段”等相關內容，對LLMs的識別能力有提升，但較小；

存在高度語義相關的答案無關片段時，COT或者ICL會導致LLMs過度思考，識別能力變差。

數據&片段構造

將答案無關片段，分成三類：

無關：與問題主題無關但相似性得分高的段落

部分相關：不僅在相似性度量上得分高，而且與問題的主題部分內容重疊

相關：不僅在相似性度量上得分高，而且與問題的主題內容重疊，但不包含正確答案。

數據構造：

無關：通過檢索器直接檢索Top10的段落；

部分相關：從檢索Top10的段落中選擇一個包含subj，但缺少obj的段落，作為前半段；然后找到一個包含錯誤答案obj'的片段作為后半段；

相關：與“部分相關”相比，“相關”片段與問題高度語義相關，但并不包含正確答案，主要涉及系誤導性聯類型、共同特征類型和虛構軼事類型。

相關樣例如下圖所示，

通過Contriever model計算不同片段相似度得分，相關和部分相關與問題的相似度甚至比真實片段更高，說明數據構造有效。

評價指標：

誤表述比率（Misrepresentation Ratio，MR）：LLMs因受到答案無關信息影響而改變正確回答內容的比例，用于衡量LLMs被無關信息誤導的傾向；

不確定比率（Uncertainty Ratio，UR）：LLMs因受到答案無關信息影響而在回答中表述“不確定”的比例，用于衡量LLMs對干擾后生成答案的信心程度。

為了方便評測，采用多項選擇題的形式進行LLMs評估，將“正確答案”、“錯誤答案”以及“不確定”作為選擇供LLMs選擇。

結論實驗

評估了LLMs在面對三個不同語義相關性級別的答案無關片段時的表現，如下表所示，隨著片段的相關性增高，不同模型的效果均有所下降，對于干擾后生成的答案的信心更足。閉源模型的效果遠好于開源模型。

PS：開源模型只做了Llama2-7B，感覺應該補充補充~

隨著片段個數的不斷增加，LLMs分心更嚴重，如下表所示，隨著答案無關片段的數據增加，更愿意選擇無關答案。

為了方便評估，選擇多項選擇的形式來對LLMs進行分析。但其他形式的問法表現如何？如下表所示，自由問答形式的問題受答案無關片段影響最小、其次是是否類型，影響最大的是多項選擇式問題。

PS：對于自由式問題由于沒有約束，答案較為散亂，不易評估，由采用了GPT3.5進行了答案對齊操作，人工抽檢300條，準確率在97%，認為可靠。

忽略式Prompt對結果有微弱的改善，COT、忽略式Prompt+ICL對結果有害，效果變得更差。

寫在最后

一個蠻有趣的實驗報告，探索檢索片段對RAG系統帶來的額外影響。
審核編輯：黃飛

?