為了讓機器人研究走向大眾，加州大學伯克利分校(UC Berkeley)和谷歌大腦的研究人員提出了一個開源的低成本機器人學習平臺ROBEL(RoboticsBenchmarks for Learning with Low-Cost Robots)。

ROBEL可以作為快速實驗平臺，支持各種實驗需求，以及新的強化學習和控制方法的開發，同時提供主要用于促進現實世界物理硬件研究和開發的基準任務。其由D’Claw和D'Kitty組成，D'Claw是一個有三只手臂的機械臂型機器人，可以幫助學習靈巧的操作任務；D'Kitty是一個有四條腿的機器人，可以幫助學習靈活的腿部運動任務。該機器人平臺具有低成本、模塊化、可靠性高、易于維護等特點，并且功能強大，可支持基于硬件的強化學習。

圖中左：十二自由度D'Kitty；中：9 自由度D'Claw；右：功能齊全的D'Claw 裝置D’Lantern。

為了使機器人成本便宜和易于構建，研究人員基于現成的組件和常見的原型工具(3D打印或激光切割)設計了ROBEL。該設計很容易組裝，只需要幾個小時即可構建。

為了使機器人成本低且易于構建，研究人員基于現成的組件和常用的原型制作工具（3D打印或激光切割）設計出ROBEL，并提供詳細的零件清單、組裝說明和入門軟件說明。ROBEL設計易于組裝，僅需幾個小時即可構建。

谷歌設計了一套對 D’Claw和D’Kitty兩個平臺都適用的任務，可用于對現實世界的機器人學習進行基準測試。ROBEL的任務定義包括密集和稀疏任務目標，并在任務定義中引入硬件安全指標，例如，指示關節是否超過“安全”操作界限或作用力閾值。此外，ROBEL還為所有任務提供模擬器，以促進算法開發和快速原型設計。D’Claw 任務主要圍繞三種常見的操作行為展開：擺形(Pose)、旋轉(Turn)和擰(Screw)；D’Kitty任務主要圍繞三種常見的移動行為——站立、定向和行走展開。針對這些基準任務，研究人員評估了幾種深度強化學習方法，評估結果和最終策略被作為baseline包含在軟件包中以供比較。

ROBEL平臺支持直接的硬件訓練，迄今已積累了超過1.4萬h的實際經驗。為了確保平臺和基準方法的可重復性，研究人員通過兩個不同的實驗室分別對ROBEL進行了研究，本研究僅使用軟件分發和文檔、不允許親自訪問，利用ROBEL的設計文檔和組裝說明，兩者都可以復制兩個硬件平臺。基準任務訓練在兩個實驗室分別構建的機器人上進行，實驗表明，在兩個不同地點打造的兩個D'Claw機器人，它們不僅訓練進度相似，而且最終收斂到了相同的性能，這說明ROBEL基準具備良好的可重復性。

ROBEL在各種強化學習研究中都非常有用。D’Claw平臺是完全自主的，可以在很長一段時間內維持實驗的可靠性，而且可以使用剛性和柔性對象的各種強化學習范例和任務改進實驗。重要的是，D'Claw平臺是高度模塊化的，而且具備高度可重復性，便于進行擴展實驗。通過擴展設置，研究人員發現多個D'Claws可以通過共享經驗更快地對任務進行集體學習，通過共享SAC的分布式版本的硬件訓練流程，其可以面向多個目標任務實現任意角度的結合。在多任務定制中，完成五個任務只需要單個任務經驗的2倍時間即可。

同時，研究人員成功地在D’Kitty平臺上部署了強大的移動策略，比如，D'Kitty可以在“盲眼”條件下在室內和室外地形上穩定行走，展現了步態的穩健性。

具體而言，在雜亂的室內環境行走時，通過MuJoCo模擬通過自然策略梯度訓練的Sim2Real策略，機器人可以在隨機擾動的條件下實現行走，并跨過障礙物；在布滿碎石和樹枝的室外環境行走時，通過自然策略梯度在MuJoCo模擬中訓練的Sim2Real策略具有隨機的高度場，機器人可以學習在分布著碎石和樹枝的戶外環境中行走；在室外斜坡和草叢環境中，通過自然策略梯度在MuJoCo模擬中訓練的Sim2Real策略具有隨機高度場，機器人可以學習在緩坡上行走。

當D’Kitty收到有關其軀干和場景中目標的信息時，其可以學會與表現出復雜行為的目標進行交互。比如，通過HierarchicalSim2Real訓練的策略可以學習躲避移動障礙物，到達目標位置；通過Hierarchical Sim2Real訓練的策略學習將目標推向移動目標（由手中的控制器標記）；雙機器人協同-通過Hi-Herarchical Sim2Real訓練的策略，可以學習協調兩個D'Kitty機器人，將沉重的障礙物推向目標位置。

總之，ROBEL可以滿足新興的基于學習范式的需求，這些范式需要高度的可擴展性和彈性。