在倉庫與家庭場景中，為了進一步打造出能夠與人類進行安全、有效合作的機器人，NVIDIA 西雅圖 AI 機器人研究實驗室（Seattle AI Robotics Research Lab）的研究人員，開發(fā)出了一種讓機器人能夠與人們遞接物體的人機交互方法。

該系統(tǒng)目前還處于概念驗證階段。與以往方法相比，這個方法可以實現(xiàn)更流暢的遞接，進而幫助倉庫機器人，甚至廚房助手機器人更好地進行人機交互。

解決這個問題的關(guān)鍵在于，需要開發(fā)一套感知系統(tǒng)來精確識別手和遞接物體的各種姿態(tài)。在遞接物體時，人們可能正在專注于其他事情，手和物體通常會相互遮擋。為了解決這個問題，研究團隊將該方法分成了多個階段。

首先，該團隊定義了一組握持動作，這組動作描述了人手進行遞接時握持物體的方式。

研究人員在其論文中解釋道：“當用手握住一個物體時，手的姿勢可分為打開手掌、捏住底部、捏住頂部、捏住側(cè)面或拿起。如果手中沒有任何物體，那么可能是在等待機器人遞交物體或者未發(fā)生這個動作。”

然后他們在點云上訓(xùn)練了一個深層神經(jīng)網(wǎng)絡(luò)，用于預(yù)測人類的握持類別。研究人員使用 Microsoft Azure Kinect RGBD 攝像頭創(chuàng)建了一個數(shù)據(jù)集，這組數(shù)據(jù)集包含了 8 個實驗對象的不同手形和手勢。

研究人員表示：“我們向?qū)嶒瀸ο笳故玖艘粡堄檬治粘治矬w的圖片，接著記錄實驗對象執(zhí)行相似動作時的姿勢，記錄時間為 20 至 60 秒，隨后在整個圖像序列中標出相應(yīng)的人類握持類別。在記錄期間，實驗對象的身體和手可以移動到不同的位置，以使攝像頭的視角多樣化。我們分別記錄了每名實驗對象的左手和右手，整個數(shù)據(jù)集總共包含 151551 張圖像。”

5 種人類握持類型與2種空手類型涵蓋了人們所習(xí)慣的各種物體握持方式。研究人員將這些動作與機器人的各種典型握持方向相關(guān)聯(lián)，最大程度上減少了遞接過程中人們的負擔(dān)（以坐標系統(tǒng)和黃色箭頭表示）。

在下一階段，研究人員根據(jù)人類的握持動作調(diào)整了機器人的握持方向。

鑒于 PointNet ++ 架構(gòu)在許多機器人應(yīng)用上都取得了極佳效果（如無標記遠程操作系統(tǒng)和握持生成等），因此為了完成這項任務(wù)，研究人員使用該架構(gòu)訓(xùn)練人類握持分類網(wǎng)絡(luò)。

研究人員表示：“手的周圍分布著點云，該網(wǎng)絡(luò)可以根據(jù)定義的握持類別對手的動作進行分類。定義的握持類別也可以被用于進一步的機器人握持動作設(shè)計。”

遞接框架概述。該框架采用以手部檢測為中心的點云，然后使用基于 PointNet ++ 的模型，根據(jù) 7 種握持類別對手的動作進行分類。這七種握持類別涵蓋了人們所習(xí)慣的各種物體握持方式。然后，該任務(wù)模型據(jù)此調(diào)整機器人握持動作的設(shè)計。

在該步驟中，團隊為機器人設(shè)計了典型的握持方向，減少了機器人抓住人手的可能性，使機器人的運動和軌跡盡可能自然。

研究人員使用一個內(nèi)置 CUDA 10.2 和 PyTorch 框架的 NVIDIA TITAN X GPU 對該系統(tǒng)進行了訓(xùn)練，并通過 1 個 NVIDIA RTX 2080 Ti GPU 完成了測試。

研究人員總結(jié)道：“與兩種基礎(chǔ)方法相比，這種方法能夠不斷提高握持的成功率，縮短總執(zhí)行時間和試驗時間。這證明了該方法的有效性和可靠性。”

（a）人手握持分類的準確性。（b）人類手部狀態(tài)分類和 PoseCNN 之間的物體遺漏檢出率比較。在很多情況下，手會遮擋物體，因此很難獲得準確的物體姿態(tài)估計值。

在未來的測試中，研究人員計劃訓(xùn)練該系統(tǒng)掌握更多握持類型，進一步增強他們的數(shù)據(jù)集。