一款常用于常規手術的由外科醫生手動操作的機器人，如今已能像人類一樣精準地自主執行關鍵手術任務。

約翰斯·霍普金斯大學和斯坦福大學的研究人員透露，他們將一個經過數小時手術視頻訓練的視覺語言模型（VLM）與廣泛使用的達芬奇外科手術機器人系統進行了整合。

基于這一視覺語言模型，達芬奇機器人的微型夾爪（即“手”）可以自主執行三項關鍵手術任務：小心提起人體組織、操控手術針以及縫合傷口。

傳統的機器人訓練方法需要對機器人動作的每個組成部分進行詳細編程，與之不同的是，經過改裝的達芬奇機器人僅通過模仿學習就能完成“零樣本”手術任務。僅依靠其視覺語言模型，這款機器人就能實現模仿手術視頻中醫生的操作。

這一成果讓我們得以窺見未來完全由自主機器人開展的手術可能會是什么樣子。

“這些機器人如今能夠自主完成如此復雜的任務，實在令人驚嘆，”約翰斯?霍普金斯大學的博士后研究員 Ji Woong Brian Kim 說道，“通過模仿學習來為機器人編程，使其能夠進行手術操作，這是機器人技術發展的一項重要突破。我認為，這是自主手術機器人的未來發展方向。”

為了訓練模型，研究人員使用了NVIDIA GeForce RTX GPU、PyTorch 以及NVIDIA CUDA - X。

11 月，研究人員在慕尼黑舉行的機器人學習大會（Conference on Robot Learning）上公布了這一研究成果。在這項實驗中，機器人專家們使用了達芬奇外科手術機器人，機器人最多可配備四個機械臂，如今已經被全球各地的外科醫生廣泛應用于各類腹腔鏡手術。

為了訓練視覺語言模型（VLM），Kim 博士和他的同事將微型攝像機連接到三臺達芬奇機器人的機械臂上。這三臺機器人由約翰斯?霍普金斯大學提供，用于此次實驗。

Kim 博士和他的同事使用醫生常用來練習手術技巧的小型硅膠墊，以腹腔鏡手術的方式操控機器人進行操作。

Kim 博士錄制了約 20 小時的視頻，記錄自己操控達芬奇機器人夾爪（這些夾爪合起來大約只有一便士硬幣那么大）完成三項操作的過程：提起模擬人體組織、操控手術針以及用手術線打結。

他還記錄了與夾爪手動操作相關的運動學數據。這些運動學數據包含了 Kim 博士在每個手術步驟中操控機器人時所使用的角度和壓力等精確信息。

在用手術視頻和運動學數據對 VLM 進行訓練后，研究人員將該模型與達芬奇機器人連接起來，并指示機器人執行這三項手術任務。

研究人員用雞肉和豬肉進行實驗，這些動物肉模仿了人體組織的外觀和觸感，而且機器人此前也從未接觸過相似的操作。

令他們欣喜的是，在“零樣本”環境下，機器人近乎完美地完成了這些手術操作。

Kim 博士表示，機器人能夠自主解決一些未曾預料到的難題，這一點非常令人驚喜。

實驗中有一次，手術針意外從夾爪中掉落，盡管從未接受過應對這種情況的明確訓練，機器人還是撿起了手術針，并繼續進行手術任務。

“我們從未訓練模型處理豬肉或雞肉組織，也沒有教它如何拾起掉落的手術針，”Kim 博士表示，“看到機器人在這種完全超出訓練范圍的全新環境中能夠自主運作，我們感到非常激動。”

Kim 博士目前正在撰寫一篇新的論文，詳細闡述在動物身上開展的最新研究成果。他還在開發更多的訓練數據，以進一步拓展達芬奇機器人的能力。