MonoDream

機器人僅憑一枚普通單目相機也能擁有全局觀、洞察力與前瞻性

視覺語言導航(VLN)的關鍵挑戰，是讓機器人在真實環境中聽懂指令、理解空間、保持方位并連續決策。過去的高性能方案往往依賴全景RGB-D傳感器，以填補視野盲區并提供幾何線索，但帶來高成本、高功耗和復雜集成，使其難以在真實機器人中規模化落地。MonoDream提出另一種路徑：不增加傳感器，而是強化單目模型的想象力。

地平線與合作者們為VLA大模型構建了統一導航表征(UNR)，并提出隱式全景想象(LPD)，在訓練階段讓模型僅憑單目輸入推測當前與未來的全景RGB-D隱特征，從而學會在有限視野下重建空間、推演動態。在實際部署中，MonoDream只需單目圖像即可導航，無需全景、無需深度、無需重建模塊，實現輕量感知下的全局理解與前瞻決策。它不僅縮小了單目與全景導航的性能差距，也拓展了具身智能在輕傳感器配置下的能力邊界。

? 論文題目：

MonoDream: Monocular Vision-Language Navigation with Panoramic Dreaming

? 論文鏈接：

https://arxiv.org/abs/2508.02549

?項目主頁：

https://horizonrobotics.github.io/robot_lab/monodream/

從依賴傳感器，到發掘想象力

在視覺語言導航 (VLN) 中，高性能系統往往依賴全景RGB-D傳感器，以獲取寬視野與幾何線索，但這種方案成本高、功耗大、集成復雜。相比之下，單目相機雖最普及、最易部署，卻長期被視為能力不足，無法支撐高成功率導航。

MonoDream提出了另一種路徑：不依賴多傳感器堆疊，而是激發VLA大模型的潛在想象力，使單目智能體具備從局部推斷全局的能力。這一設計與認知科學高度契合。預測編碼理論1指出，人類視覺系統會基于局部觀測主動生成全局場景預測；神經影像研究2則表明，大腦能夠從有限視野重建不可見空間并用于行動規劃。MonoDream采用類似機制，從片段觀測中補全潛在全景、推測可行動路徑，實現可靠導航。

MonoDream一邊用單目圖像做導航決策，一邊在訓練隱式全景想象力，讓模型在有限視野下也能推演完整空間與未來。

如何在機器人腦中構建想象力

具體來說，我們不是試圖用有限視野去對抗空間不完整性，而是讓模型在訓練過程中學會用單目畫面推演一個看不見的世界。MonoDream通過統一導航表征 (UNR) 和隱式全景想象機制 (LPD) ，在訓練階段逼迫模型僅憑單目輸入去預測當前與未來的全景RGB-D潛特征。這不僅讓它在空間維度上從缺失視角中重建完整結構，也讓它在時間維度上形成前瞻能力。重要的是，這些想象并不依賴顯式渲染或生成，而是內化為導航決策的一部分，沉淀在模型內部。

進入真實部署時，MonoDream選擇完全回歸現實：不需要全景輸入，不需要深度圖，不需要顯式重建，只憑一枚普通單目相機即可完成導航決策。訓練時擁有“看見更多的自由”，推理時卻保持“設備極簡的克制”。這正是MonoDream設計上的關鍵轉折——讓“想象”成為真正的能力，而不是額外消耗。

MonoDream能在轉角和盲區中做出正確導航決策，而無想象能力的模型會誤判路徑、走錯房間。

單目潛能遠不止于此

實驗結果顯示，這條路徑不僅可行，而且強大。在R2R-CE和RxR-CE等標準基準上，MonoDream在單目設定下取得了領先表現，甚至在訓練數據有限的情況下依然保持穩定泛化，并顯著縮小了與全景方案之間的性能差距。事實證明，過去單目表現不佳的根源，并非傳感器本身，而是模型缺乏補全視野與空間認知的能力。

在R2R-CE基準上，MonoDream僅用單目輸入，就達到接近全景與深度模型的性能，且不依賴外部數據。

MonoDream告訴我們：輕感知≠弱能力。一枚相機，并不意味著只能看到有限世界。只要模型具備想象與推演能力，就能補全缺失、洞察結構、推測未來。在具身智能的發展道路上，MonoDream不僅重新定義了“單目能做到什么”，也為“如何以認知能力彌補硬件限制”提供了新的答案。

即使未在RxR-CE基準的數據上訓練，MonoDream直接遷移仍達SOTA，展現隱式全景想象機制 (LPD) 賦予的全局理解與長程導航能力。

總結和展望

當機器人能夠在單目畫面中自行重構全景與未來，它便不再受限于輸入本身，而開始依托內生的世界模型進行想象與決策。接下來，這一范式將延展至更高維的具身智能場景——長程規劃、交互理解，甚至在未知環境中實現自主推演與探索。MonoDream不是單目能力的封頂，而是讓想象力成為具身智能進化的一種新路徑。

參考文獻：

(1) Robertson, C. E.; Hermann, K. L.; Mynick, A.; Kravitz, D. J.; and Kanwisher, N. 2016. Neural representations integrate the current field of view with the remembered 360 panorama in scene-selective cortex. Current Biology, 26(18): 2463–2468.

(2) Seeber, M.; Stangl, M.; Vallejo Martelo, M.; Topalovic, U.; Hiller, S.; Halpern, C. H.; Langevin, J.-P.; Rao, V. R.; Fried, I.; Eliashiv, D.; et al. 2025. Human neural dynamics of real-world and imagined navigation. Nature Human Behaviour, 9(4): 781–793.