總所周知，完全集成的?2D?和?3D?數據很好，?歸功于?3D?點云帶有完整的?RGB?圖像。?在?2D?圖像中找到描述特征的像素后，可以直接將其與相同像素的?3D?數據相關聯。?所有這些信息都可以由?Zivid?彩色相機提供，因此只需一臺設備即可查看完整的工作。

從同一傳感器傳送所有場景信息可簡化系統的整體設置。?例如，無需將外部?2D?彩色相機校準到與?3D?相機相同的坐標系。?所以，機器人安裝任務變得簡單，可獲得所需的所有信息，并在所需環境中靈活成像。且動態放置相機可以獲得場景的最佳成像位置。

今天向您展示一種有趣的方式來探索數據與高質量?3D?點云相結合的實用性。?用大頭針觸碰氣球而不弄破它。

第?1?步：構建檢測框架

圖?1：帶有深度著色的氣球點云

開始構建系統，我們將專注于檢測方面。?第一個目標是在?2D?圖像中找到氣球。?并沒有嘗試為此任務構建一個完整的檢測算法，而是采用一種相當基本的方法來檢查場景中的顏色值。?場景中的每個像素都有一個指定的?R、G、B?值。?這些中的每一個都有一個介于?0-255?之間的值，比較這些值可以指示像素具有哪種顏色。?這是一種相當粗略的方法，但是可以接受的。?顏色值應按預期分布：

紅色：R?>?200，G?

綠色：R??200，B?>?60

藍色：R?

黃色：R?>?200，G?>?200，B?

圖?2：氣球四種顏色的?2D?彩色圖像。

創建一個與原始圖像大小相同的二進制掩碼。?1?值表示條件語句為真的區域，0?表示顏色為假的區域，這顯示為尋找下面的藍色氣球。

使用?OpenCV，我們可以對位掩碼進行一些邊緣檢測，找到最大的黃色部分的輪廓并將其填充，顯示我們找到氣球表面的位置。?這個區域是目標點位置的地方。?下一步將是找到正確的進場方向。

圖?4：檢測到的氣球表面帶有青色的?2D?圖像。

借助?Zivid?提供的數據，我們可以在不做任何額外工作的情況下找出有關點云中每個點的大量信息。?現在我們有了想要觸摸的點的?XYZ?位置，我們可以找到該點的接近方向。?為此，我們可以使用?Zivid?SDK?提供的表面法線向量，并將其用作目標方向的?Z?軸，以創建可以驅動機器人到達的接近目標。?這一步要記住的一個關鍵部分是機器人將要接近的目標的?X?和?Y?方向。

圖?5：模擬捕獲顯示圍繞?Z?軸的兩個不同姿勢方向。

對于我們的案例，最佳做法是將?X?和?Y?方向對齊，使其與機器人的當前位置和方向相似。?這使我們能夠將攝像頭保持在機器臂上側，并降低導致電纜拉傷或與機器人發生任何碰撞的風險。?由于相機與地板平行，因此可以參考相機坐標系來幫助定義觸摸姿勢的?X?和?Y?向量。

在選取點的一側選擇一個點，以幫助定義用于定義姿勢的幫助向量。?然后我們可以對該向量進行歸一化，并使用幫助向量和?Z?向量的叉積來定義?y?向量。?現在有相互垂直的?Y?和?Z?向量，可以使用通過叉積來找到位姿的最終?X?向量。?使用這三個向量，我們可以定義?4x4?齊次變換的旋轉矩陣。

圖?6：3D?渲染上目標姿勢可視化的屏幕截圖

第?2?步：手眼標定

一個永遠不會過時的話題是執行手眼標定。為了從系統中獲得最佳精度，通過使用手眼校準找到從相機幀到末端執行器幀的轉換是絕對必要的。安裝時的任何小角度或變化都可能導致與?CAD?圖紙的輸出截然不同。?Zivid?具有?API?支持以及?CLI?工具，可用于在手眼和手眼設置中執行手眼。本次使用的校準目標是?ZVD-CB01?校準目標。此目標用于手眼和內場校正。為了在您的設置中獲得最佳性能，建議在執行手眼標定之前執行內場校正。

每次相機被碰撞、敲擊或從進行手眼的位置移開時，都必須再次進行手眼標定。安裝連接中的微米級移動或幾分之一度的變化就會引起手眼變換。所以，遵守數據表中提供的?Zivid?安裝硬件推薦的密封性指南非常重要。

第?3?步：使用手眼標定

從手眼標定返回的變換是?4x4?齊次變換矩陣的形式。這將用于該項目數學中的所有轉換的格式。手眼變換可以與拾取點?4x4?矩陣相乘，將點位置轉換為末端執行器框架，然后可以通過將其與機器人的位姿相乘將其轉換為機器人基礎框架，也可以作為?4x4轉換。這會將?TCP（工具中心點）需要移動到的點放置到基礎框架中，然后機器人可以被驅動到該點。有了這個，你就有了一個氣球觸摸機器人！

使用?Zivid?相機，可以簡化任務以查找和定位環境中的重要的內容。我們的主要目標之一是盡可能地簡化過程。如果您對如何與?Zivid?SDK?交互有任何其他疑問，請聯系美城工作人員！

上海美城智能科技有限公司為行業提供領先的成像和視覺系統解決方案，高品質的成像和視覺產品，以及專業化一體化的服務。公司致力于3D成像應用場景化研發，推動行業的3D應用發展，深度覆蓋工業、國防、科研、交通、3D交互和生命科學等行業。豐富的全球化合作資源和自主研發技術相結合，為客戶打造優質的產品和方案。

審核編輯：符乾江