強化學習 (RL) 是一種順序決策范例，用于訓練智能體來處理復雜的任務，例如機器人運動、玩視頻游戲、放飛平流層氣球以及設計硬件芯片等。

放飛平流層氣球

http://rdcu.be/cbBRc

玩視頻游戲

https://ai.googleblog.com/2020/04/an-optimistic-perspective-on-offline.html

雖然 RL 智能體已經在各種活動任務中呈現出很好的結果，但很難將這些智能體的能力轉移到新的任務中，即便這些任務在語義層面上是等同的。例如，在跳躍任務中，智能體需要從圖像觀察中學習如何跳過一個障礙物。在用于訓練 Deep RL 智能體的一些任務中，障礙物位置是變化的，此時若障礙出現在先前沒有見過的位置上，則這類智能體很難成功地躍過。

跳躍任務：智能體（白塊），從像素中學習如何跳過一個障礙物（灰色方塊）。本任務的挑戰在于，如何在測試任務中使用少量的訓練任務來泛化未見過的障礙物位置和離地高度。在指定的任務中，智能體需要在離障礙物一定距離時準確地確定跳躍的時間，否則會撞到障礙物

在發表于 ICLR 2021 的“強化學習中泛化的對比性行為相似性嵌入向量 (Contrastive Behavioral Similarity Embeddings for Generalization in Reinforcement Learning)”一文中，我們將 RL 中固有的順序結構納入表征學習過程，以增強對未見過的任務的泛化。這與之前的主流方法不同，主流方法通常是由監督學習 (Supervised learning) 改編而來，因此在很大程度上忽略了這里提及的順序方面。而我們的方法則利用了這樣一個事實：智能體在具有相似根本方法的任務中進行操作時，至少會在這些任務中表現出類似的短序列性的行為。

強化學習中泛化的對比性行為相似性嵌入向量

https://agarwl.github.io/pse/

之前關于泛化的研究通常是由監督學習改編而來，并主要圍繞加強學習過程。這些方法很少利用序列方面的屬性，例如時間觀察中操作的相似性

我們的方法是訓練智能體學習一種表征，智能體在某些狀態下的最佳行為和未來狀態接近時，這些狀態就是相似的。這種接近的概念，我們稱之為行為相似性，可以泛化至不同任務中的觀察結果。為了衡量不同任務的狀態之間的行為相似性（例如，跳躍任務中不同的障礙物位置），我們引入了策略相似性指標(PSM)，這是一個在理論層面驅動的狀態相似性指標，受互模擬的啟發而成。例如下圖所示，智能體在兩個視覺上不同的狀態下，未來操作是相同的，因此，根據 PSM，這些狀態就是相似的。

互模擬

https://arxiv.org/pdf/1207.4114.pdf

了解行為相似性。智能體（藍色圖標）需要在遠離危險圖標的情況下取得獎勵。即便初始狀態在視覺上是不同的，但就其在當前狀態以及緊接著的未來狀態下的最佳行為而言，它們是相似的。策略相似性指標 (PSM) 將高相似度分配給這種行為上相似的狀態，將低相似度分配給不相似的狀態

為了提升泛化程度，我們的方法學習了狀態嵌入向量，對應基于神經網絡的任務狀態表征，將行為上相似的狀態聚集在一起（如上圖），同時將行為上不相似的狀態分開。為此，我們提出了對比性指標嵌入向量(CMEs)，利用對比性學習的優勢來學習基于狀態相似性指標的表征。我們將對比性嵌入向量與策略相似性指標 (PSM) 進行實例化，用來學習策略相似性嵌入向量(PSEs)。PSEs 將相似的表征分配給在這些狀態和未來狀態下具有相似行為的狀態，如上圖所示的兩個初始狀態。

如下列結果所示，PSEs 顯著增強了前面提到的從像素學習的跳躍任務的泛化能力，其表現優于先前的方法。

從像素學習的跳躍任務

https://github.com/google-research/jumping-task

跳躍任務結果：在有數據增強和無數據增強的情況下，不同方法解決的測試任務比例 (%)。下圖顯示了“寬”、“窄”和“隨機”網格的配置，包含 18 個訓練任務和 268 個測試任務。我們報告了不同隨機初始化 100 次運行的平均性能，括號內為標準差

正則化

https://arxiv.org/abs/1810.00123

數據增強

https://arxiv.org/abs/1910.05396

互模擬

https://arxiv.org/abs/2006.10742

跳躍任務網格配置：不同配置下帶有數據增強的 PSEs 平均性能的可視化。對于每種網格配置，高度沿 Y 軸變化（11 個高度），而障礙物位置沿 X 軸變化（26 個位置）。紅色字母 T 表示訓練任務。米色方塊是 PSEs 解決的任務，而黑色方塊是未解決的任務，均在有數據增強的情況下進行

我們還對 PSEs 和基線方法學到的表征進行了可視化，通過 UMAP 將它們投射到 2D 點上，這是一種常用的高維度數據可視化技術。如可視化圖像所示，PSEs 將行為上相似的狀態聚集在一起，而將不相似的狀態分開，這與之前的方法不同。此外，PSEs 將狀態分為兩組：(1) 跳躍前的所有狀態；(2) 操作不影響結果的狀態（跳躍后的狀態）。

UMAP

https://pair-code.github.io/understanding-umap/

將已學習的表征可視化。(a) 障礙物位置不同的情況下，跳躍任務（彩色方塊）的最佳軌跡。具有相同數字標簽的點表示智能體與障礙物距離相同，這是在各種跳躍任務中作為基礎的最佳不變特征。(b-d) 我們用 UMAP 可視化隱藏的表征，其中點的顏色表示相應觀察的任務。(b) PSEs 捕捉到了正確的不變特征，如圖所示，具有相同數字標簽的點被聚集在了一起。也就是說，在跳躍操作（編號為 2 的方塊）之后，所有其他操作（無編號方塊）都是相似的，如重疊的曲線所示。與 PSEs 相反，包括 (c) l2-loss 嵌入向量（而不是對比性損失）和 (d) 基于獎勵的互模擬指標在內的基線并沒有把具有相似數字標簽、行為上相似的狀態放在一起。(c, d) 的泛化能力較弱，可能是由于具有相似最佳行為的狀態最終被放在遠距離嵌入向量上

結論

總體上看，本文展現了利用 RL 中的固有結構來學習有效表征的優勢。具體來說，本文展示了兩項可推進 RL 中泛化的貢獻：策略相似性指標和對比性指標嵌入向量。PSEs 結合這兩種思路來加強泛化。對于未來工作，值得探究的方向包括找到更好的方法來定義行為相似性，并利用這種結構進行表征學習。

責任編輯：haq