近日，美國西雅圖的NVIDIA機器人研究實驗室推出一種將虛擬引入現實的強化學習方法，即將機器人的實際表現與虛擬環境的參數調整相結合，從而獲得更為真實的虛擬環境，為實際機器人的深度學習帶來新的視角。

眾所周知，擴大機器人學習的方法就是通過盡可能多的在虛擬環境中對虛擬機器人進行場景訓練。因為在虛擬環境中只要擁有足夠的計算能力，研究人員就可以運行大量的虛擬機器人，測試各種虛擬的環境，調整模擬的速度，從而讓機器人學習得更快。

但是模擬并不是完美的，當研究人員將模擬的參數應用到實際環境中時，總是需要進行復雜而又繁瑣的參數調整。在模擬實驗中，NVIDIA的研究人員雖然沒有消滅模擬環境與現實環境的參數差別，但是他們使得機器人可以自主調整參數，這意味著模擬和現實之間的差距可以在沒有人為參與的情況下消失。

具體地，在實驗中，NVIDIA研究人員使用64個NVIDIATesla V100 GPU集群，同時使用cuDNN加速的TensorFlow深度學習框架，訓練機器人完成兩項任務：將一個掛鉤放進一個洞和打開一個抽屜。對于場景的模擬，該團隊使用了NVIDIA FleX物理引擎。

機器人的整個學習過程是：機器人首先在模擬環境中進行建模仿真，并且在虛擬環境中進行不斷地訓練，將測試得到的數據下載到機器人上，當在真實機器人上嘗試學習任務時，系統準確觀察它是如何失敗的，并將失敗的數據與模擬數據進行對比，將結果返回到學習框架進行優化模擬以獲得更接近真實的模擬參數。為了確定模擬環境中的參數對實際機器人的影響，NVIDIA可以在沒有人參與的情況下將這個誤差反饋到模擬環境中以改進模擬的參數，使其更接近觀察到的現實情況。

得益于深度學習框架的黑盒形態，虛擬環境的構建者可以擺脫復雜的物理定律、具體的數學模型構建，并將這些虛擬環境的參數調整納入到深度學習框架，經過不斷迭代，系統能夠識別出與現實世界中觀察到的更接近的模擬參數，從而取得成功，進一步打通虛擬與現實之間的隔閡，這為構建更為真實的虛擬環境和更具效率的機器人學習提供了另一種手段。