借助 NVIDIA Omniverse 和 Isaac Sim，機(jī)器人終于有了能夠抓東西的手。

在過去幾年中，開發(fā)者一直在努力克服機(jī)器人抓取能力上的不足，使其能夠應(yīng)用于這個市值數(shù)十億美元的產(chǎn)業(yè)。如果機(jī)器人能夠安全抓取和轉(zhuǎn)移傳送帶上快速移動的物品，那么它們在這些企業(yè)中的前景將非常廣闊。

馬薩諸塞州貝德福德市的初創(chuàng)企業(yè) Soft Robotics 正在使用 NVIDIA Isaac Sim 幫助機(jī)器人抓取應(yīng)用縮小在模擬環(huán)境與現(xiàn)實環(huán)境中的差距，其中的一個領(lǐng)域是完善待包裝食品的撿取和放置。

食品包裝和加工企業(yè)正在使用這家初創(chuàng)企業(yè)的 mGripAI 系統(tǒng)。這套系統(tǒng)結(jié)合了軟性抓取與 3D 視覺和人工智能（AI）技術(shù)，能夠在不破壞食品的情況下抓取蛋白質(zhì)、農(nóng)產(chǎn)品、烘焙食品等脆弱的食品。

Soft Robotics 軟件工程高級總監(jiān) David Weatherwax 表示：“我們銷售的是抓取解決方案中的‘手’、‘眼’和‘大腦’。”

Soft Robotics 表示，不同于其他已經(jīng)采用機(jī)器人技術(shù)的行業(yè)，市值 8 萬億美元的食品市場在開發(fā)用于處理非結(jié)構(gòu)化環(huán)境中的不同物品的機(jī)器人方面一直進(jìn)展緩慢。

該公司成立于 2013 年，最近從 Tyson Ventures、Marel 和 Johnsonville Ventures 獲得了 2600 萬美元的 C 輪融資。

Tyson Foods、Johnsonville 等企業(yè)正在投資于機(jī)器人自動化技術(shù)來幫助提高其工廠的安全性和產(chǎn)量。這兩家公司都依賴 Soft Robotics 的技術(shù)。

使用合成數(shù)據(jù)訓(xùn)練抓取

Soft Robotics 為公司的每個抓取應(yīng)用開發(fā)了單獨的模型，每個模型都需要特定的數(shù)據(jù)集。對一堆濕滑的雞肉和其他食物進(jìn)行揀選是一個非常棘手的挑戰(zhàn)。

通過 NVIDIA Omniverse 和 Isaac Sim，該公司可以為不同背景下的雞肉部位創(chuàng)建 3D 渲染圖，比如傳送帶上、箱子中以及各種照明場景中。

該公司使用 Isaac Replicator 開發(fā)合成數(shù)據(jù)，為每個模型生成數(shù)十萬張圖像并分發(fā)到云端的各種實例中。Isaac Replicator 是一套使用 Isaac Sim 生成合成數(shù)據(jù)的工具、API 和工作流程。

它還能運行姿勢估計模型，幫助抓取系統(tǒng)看到待抓取物品的角度。

憑借現(xiàn)場的 NVIDIA GPU，Soft Robotics 能夠使用這些食品加工廠每個應(yīng)用所特有的模型在瞬間進(jìn)行推理。同時，通過 Isaac Sim 中的模擬和訓(xùn)練功能，加工廠還可以使用 NVIDIA GPU 擴(kuò)大工作的規(guī)模。

Weatherwax 表示：“我們目前的設(shè)置全部是合成的，所以能夠快速部署新的應(yīng)用。我們把寶都壓在了 Omniverse 和 Isaac Sim 上，并且效果非常好。”

解決遮擋和照明問題

為了了解不同雞肉塊在被倒成一堆時的堆疊和重疊方式，Soft Robotics 需要解決遮擋這個重大難題。Weatherwax 表示：“這些雞肉堆的形成方式可能相當(dāng)復(fù)雜。”

濕雞肉上的反光可能會使檢測模型失效。“我們需要解決的另一個重大難題是照明，所以 NVIDIA RTX 驅(qū)動的光線追蹤十分重要。”

但真正重要的是為所有物品構(gòu)建 3D 模型并在一瞬間找出堆中的哪件物品受阻最小，最容易被機(jī)器人抓手抓取和放置。

Omniverse 通過構(gòu)建符合物理學(xué)的合成數(shù)據(jù)集使 Soft Robotics 能夠創(chuàng)造出這樣的環(huán)境。我們需要克服的一大挑戰(zhàn)是這些形狀各異的物體的堆積方式。

提高產(chǎn)線的抓取準(zhǔn)確率

食品加工廠產(chǎn)線上的移動速度很快，但部署了特定應(yīng)用模型的機(jī)器人每分鐘可進(jìn)行多達(dá) 100 次抓取。

這種機(jī)器人目前仍在開發(fā)中，而這項工作的成敗取決于對物品堆的準(zhǔn)確表述，同時訓(xùn)練數(shù)據(jù)集需要涵蓋物品落入堆中的所有可能方式。

這個數(shù)據(jù)集是為了訓(xùn)練機(jī)器人知道在一個復(fù)雜、不斷變化的環(huán)境中如何進(jìn)行最佳的抓取。如果食品從傳送帶上掉下來或因其他原因而損壞，那就會造成浪費，直接影響到產(chǎn)量。

推動產(chǎn)量增長

肉類包裝公司在產(chǎn)線上加工雞肉。但與許多其他行業(yè)一樣，他們也面臨著員工短缺問題。Weatherwax 表示，一些正在建設(shè)新食品加工廠的企業(yè)甚至無法在剛開始生產(chǎn)時吸引到足夠的工人。

“這些企業(yè)遇到了很多人手方面的問題，這推動了自動化的趨勢。”

Omniverse 驅(qū)動的工作使食品加工企業(yè)的模擬能力提升了 10 倍以上，將 AI 抓取系統(tǒng)的部署時間從幾個月縮短到幾天。

這使 Soft Robotics 的客戶不但能夠部署自動化雞肉抓取線，還能夠應(yīng)對沖擊許多行業(yè)的人手問題，尤其是受傷和健康風(fēng)險較高的行業(yè)。

Weatherwax 表示：“機(jī)器人更適合處理生雞肉”。

審核編輯 ：李倩