性能評估

因為模型是根據人工標注的輸入進行訓練的，所以評估的核心部分也基于人工輸入，即通過讓標注者對模型輸出的質量評分來進行。為避免訓練階段涉及的標注者的判斷過擬合，測試集使用了來自其它 OpenAI 客戶的 prompt，這些 prompt 未出現在訓練數據中。

該模型基于三個標準進行評估：

• 幫助性：判斷模型遵循用戶指示以及推斷指示的能力。
• 真實性：判斷模型在封閉領域任務中有產生虛構事實的傾向。
• 無害性：標注者評估模型的輸出是否適當、是否包含歧視性內容。

該模型還針對傳統 NLP 任務（如解答問題、閱讀理解和摘要）的零樣本學習的性能進行了評估，開發人員發現在其中一些任務上模型的表現比 GPT-3 要差一些，這是一個「一致性稅」( alignment tax) 的例子，其中基于 人類反饋強化學習的一致性程序是以降低某些任務的性能為代價的。

這些數據集的性能回歸可以通過稱為預訓練混合的技巧大大減少：在通過梯度下降訓練 PPO 模型期間，通過混合 SFT 模型和 PPO 模型的梯度來計算梯度更新。

方法的缺點

該方法的一個非常明顯的局限性是，在將語言模型與人類意圖保持一致的過程中，用于 fine-tuning 模型的數據會受到各種錯綜復雜的主觀因素的影響，主要包括：

• 生成 demo 數據的人工標注者的偏好；
• 設計研究和編寫標簽說明的研究人員；
• 選擇由開發人員制作或由 OpenAI 客戶提供的 prompt；
• 標注者偏差既包含在 RM 模型訓練中，也包含在模型評估中。

ChatGPT 的作者也承認一個明顯的事實，即參與訓練過程的標注人員和研究人員可能并不能完全代表語言模型的所有潛在最終用戶。

除了這一明顯的「內生」限制之外，該方法還有的一些其它缺點和需要解決的問題：

• 缺乏對照研究：報告的結果以 SFT 模型為基準衡量最終 PPO 模型的性能。這可能會產生誤導：如何知道這些改進是由于 RLHF？因此對照研究非常有必要，包括投入與用于訓練 RM 模型的標注工時數完全相同的時間，以創建具有高質量數據的更大的精選有監督調優的數據集。這樣就可以客觀地衡量 RLHF 方法與監督方法相比的性能改進。簡單來說，缺乏這樣的對照研究讓一個基本問題完全懸而未決：RLHF 在一致性語言模型方面真的做得很好嗎？
• 比較數據缺乏基本事實：標注者通常會對模型輸出的排名持不同意見。技術上講，產生的風險是在沒有任何基本事實的情況下，向比較數據添加了很大的方差。
• 人類的偏好并非同質：RLHF 方法將人類的偏好視為同質和靜態的。假設所有人都有相同的價值觀，這明顯是不準確的，雖然有大量的公共價值觀，但在很多事務上人類還是存在許多不同的認知。
• RM 模型 prompt 穩定性測試：沒有實驗表明 RM 模型在輸入 prompt 變化方面的敏感性。如果兩個 prompt 在句法上不同但在語義上是等價的，RM 模型能否在模型輸出的排名中顯示出顯著差異？即 prompt 的質量對 RM 有多重要？
• 其它問題：在 RL 方法中，模型有時可以學會控制自己的 RM 模型以實現期望的結果，從而導致「過度優化的策略」。這可能會導致模型重新創建一些模式，因為某些未知的原因，這些模式使 RM 模型得分較高。ChatGPT 通過使用 RM 函數中的 KL 懲罰項對此進行了修補。