3D機器視覺及手眼標定技術設置原理

1、視覺硬件系統基本硬件包括如下：

? 1 工控機

? 2 網線

? 3 路由器

? 4 標定板

? 5 標定板固定法蘭

? 6 相機與線纜

2、接線圖

分別將三根網線的一端連接到路由器的LAN 口（注意不要接到WAN 口），另一端分別連接至機器人網口、工控機網口、相機（相機線纜包括電源線和網線）網口，路由器端連接如下圖所示：

機器人網口為控制柜上的網口，如下圖所示（以UR 機器人為例）：

3、軟件環境搭建

在確認電源、網線等連接正常后，開始設置IP，通過路由器將工控機、相機、機器人三者構建在同一網段。

在瀏覽器中輸入網址tplogin.cn 進入路由管理界面（在路由器背部可以查看登錄管理界面地址），如果是設置好的路由器直接輸入設置好的網段，即可進入路由管理界面，例如192.168.3.1（設置為3 網段）。

進入路由管理界面時會要求輸入用戶名以及用戶密碼，如下圖所示：

管理界面如下圖所示，其中紅色框中的綠色網口代表連接正常的網口。

如果路由器已經設置好了，當忘記了設置的網段，無法進入路由管理界面，又不想把路由器恢復為出廠設置重新設置，可以通過如下圖所示的網絡連接詳細信息查看默認網關。

此時打開機器人示教器，查看機器人的IP，如下圖所示（以UR 機器人為例）：

可以看到機器人的IP 在3 網段，那就通過路由器將相機、工控機、機器人統一設置在3 網段下（如果機器人的IP 可以修改，也可以把機器人的IP 改為其它網段下，靈活操作即可）

在路由器管理界面，打開左側工具欄的基本設置里面的LAN 設置，在手動模式下設置IP 地址，例如設置3 網段，輸入為192.168.3.1，子網掩碼默認為255.255.255.0，點擊設置，即可設置成功。如下圖所示：

同樣要設置工控機的IP 地址在3 網段下，依次點擊如下圖所示，即可將工控機設置在3 網段下（其中192.168.3.110 中的110 為任意值，從0-255 之間取值，只要不是和機器人IP 重復的即可）。

4、機器人的手眼標定

要實現由圖像目標點到實際物體上抓取點之間的坐標轉換，就必須擁有準確的相機內外參信息。其中內參是相機內部的基本參數，包括鏡頭焦距、畸變等。一般相機出廠時內參已標定完成，保存在相機內部。

相機外參表示的是機器人與相機之間的位姿轉換關系（即手眼關系，因此相機外參的標定稱之為機器人手眼標定）。機器人與相機在不同的使用場景下其相對位姿不固定，需要在工作現場進行標定才能獲得相機與機器人之間的手眼關系。

由于機器人手眼標定會使用相機的內參，所以具有準確的內參是標定外參的前提。

機器人手眼標定的分類方式各不相同，根據相機相對于機器人的安裝方式，將手眼標定分為兩種:

1. 相機獨立于機器人固定在支架上，稱為ETH(Eye to hand) 方式。

2. 相機固定于機器人末端法蘭上，稱為EIH(Eye in hand) 方式。

同時，可使用多個隨機標定板位姿或TCP 尖點觸碰的方法添加標定點。兩者的主要區別在于：

1. 多個隨機標定板位姿：使用軟件自動生成的軌跡點或手動添加的多個位姿，在每個位姿拍照并識別標定板角點，建立標定板、相機及機器人三者間的關系，其過程簡單，標定精度高。

2. TCP 尖點觸碰：利用三點法確定標定板位姿后，建立標定板、相機及機器人三者間的關系。適用于機器人活動空間局促、無法使用上位機來控制和標定板無法安裝等情況。

分類方式如下圖所示。

4.1 ETH 標定基本原理

機器人末端通過法蘭連接已知尺寸的標定板，可以得到標定板（calibration grid）上的每個標志點相對于機器人基坐標Base 的坐標A；通過相機拍照獲得標定板上每個圓點的圖像，可以得到相機光心相對于標定板上每個標志點的坐標B；相機光心和機器人基坐標（Base）之間的位姿關系X 為待求量。A、B 和X構成閉環，形成等式，可以在等式中求解未知數X。通過移動機器人，變換標定板相對于相機的位姿，可以得到多組等式，對這些等式的值進行擬合優化計算，最終得到最優的X 的值。位姿關系如下圖所示。

當使用TCP 觸碰法標定時，標定板放置在工作平面，機器人末端加裝已知TCP 的尖點，觸碰標定板圓點，其原理如下圖所示，其中A、B 已知，求解X 的值。

實際操作中，坐標A的獲取有以下三種方式：

1. 標定板到法蘭末端位置關系已知（三點法或是已知連接件尺寸計算得到），則A 可以直接計算得到；

2. 標定板到法蘭末端位置關系未知，則通過標定板在標定過程中的一系列相對移動，通過數值方法計算得到標定板到法蘭末端的位置關系，進而計算得到A；

3. 標定板與機器人末端不固定，則可以通過已知tcp 坐標的尖點對標定板標志點進行觸碰的方式計算得到A的數值。以上三種方式對應三種不同獲取標定數據的方式。

ETH 方式標定的是相機光心和機器人基坐標之間的位姿關系。如果機器人基坐標或者相機發生移動，對應的外參就會相應發生變化，此時需要重新標定手眼關系。

4.2 EIH 標定基本原理

機器人末端通過固定架將相機固定，此時機器人末端法蘭中心與相機光心之間的位姿相對固定，即下圖中的未知變量X；機器人末端法蘭中心相對于機器人基坐標系（Base）的位姿為已知量B；相機通過對標定板（calibration grid）進行拍照，獲得相機光心和標定板上每個圓點之間的位姿關系，可得已知量C；標定板平放在相機視野可達區域，其相對于機器人基坐標之間的位姿關系為一固定值A；這樣變量A、B、C、X 構成閉環關系。下列等式中，由于A 為固定值，將前兩個等式合并，得到的新等式中只有X 為未知待求量。變換機器人末端位姿進行不同角度拍照，得到多組A、B、C 的值，利用這些數值進行擬合計算，得到最優的X 的值。