概述

中國制造 2025 是中國政府實施制造強國戰略的第一個十年行動綱領，是全面提升中國制造業發展質量和水平的重大戰略部署，其中明確指出了圍繞工業機器人創新技術的重要地位。目前工業機器人技術已經廣泛應用在汽車加工、食物分揀、自動化生產裝配等領域。工業現場通信技術是智能制造業的核心技術之一， 隨著智能制造業的快速發展，對節點間通信的實時性、可靠性以及通信帶寬提出了更高的要求。工業以太網主站可以在多種平臺上運行，只需硬件提供一個標準的網口。因此，成本低廉、簡單靈活、高速實時的嵌入式平臺在硬件上可以作為工業以太網主站使用，從而提供一種新的網絡化、信息化、智能化的解決方案。傳統的硬件平臺采用 DSP對圖像進行處理，其處理速度較慢，無法滿足圖像處理實時性要求，限制了機器視覺的應用。FPGA作為一種硬件平臺，用于數字圖像處理，具有速度快、集成度高、可靠性強等優點。為了提高圖像的質量和增強系統處理圖像的實時性，本文提出了一種伊瑟特的六自由度機器人視覺伺服控制系統，將攝像頭集成到基于 Zynq的伊瑟特主站上，提高了視覺伺服的實時性。經測試，該平臺能夠對視覺檢測目標的變化做出及時的反應，為工業自動化提供了一套切實可行的方案。本文針對基于機器視覺的工業機器人進行研究，主要工作包括以下幾點：（1）設計了基于 伊瑟特的六自由度機器人視覺伺服控制系統總體方案。以 ESR6B機器人、Zynq和攝像頭為硬件基礎，搭建了六自由度機器人視覺平臺。（2）設計了基于 FPGA的視覺檢測方案。利用 西林提供的 HLS和 CV庫對從攝像頭采集到的像素流進行實時處理，并設計了一套識別物塊坐標位置的程序流程，便于 伊瑟特主站實時地讀取物塊坐標值，處理后的圖像通過 HDMI接口輸出到顯示屏。（3）完成了 伊瑟特對伺服的位置控制。利用 Zynq的 Pl層進行了伊瑟特以太網幀的收發和主站時鐘的校準，在 PS層運行 蘇姆的裸機程序， 并將六自由度串聯機器人逆解算法移植到主站代碼里，進行機器人末端位置對于視覺反饋的實時跟隨控制。（4）通過實驗驗證了本設計的對物塊識別的準確性和實時性，并使用自主研發的六自由度串聯機器人進行實際的運動控制實驗。實驗證明，機器人可以實時地跟隨屏幕上顯示的物塊運動。

主要創新點

本設計難點在于如何提高視覺檢測的實時性和機器人運動控制的實時性，創新地采用了Xilinx的 Zynq異構處理器，將 FPGA作為視覺處理的主要單元，并將 伊瑟特主站移植到 Zynq平臺，這樣，在一塊芯片里就完成了實時的視覺檢測和運動控制。本設計采用 HLS進行視覺處理，對代碼進行了優化，使得整個視覺處理模塊的延時僅為 18.6ms。同時，在通信方面，本設計使用 FPGA進行 伊瑟特幀的收發和校驗，使得 直流電同步周期抖動穩定在小于 1U時間。實時的視覺檢測和運動控制在工業機器人視覺伺服中有著廣闊的應用，本實驗將集成攝像頭的 伊瑟特主站應用在自主研發的六自由度串聯機器人上，將機器人運動學算法編寫入 伊瑟特主站，使得機器人可以隨著攝像頭檢測到的物體做實時的運動。實驗結果表明，本設計的實時性遠大于 pc平臺的視覺處理，并完成了沿機器人 X 軸方向的實時視覺跟隨運動。

系統架構

1. ESR6B 機器人硬件系統設計ESR6B機器人是自主研發的機器人，是典型的多自由度串聯機器人，機器人本體如圖 2-1 所示。

圖2-1 ESR6B機器人本體

基于視覺引導的機器人硬件系統主要由機器人本體、控制臺、Zynq和視覺硬件等組成，如圖 2-2 所示。

圖 2-2 系統總體方案

2. ESR6B 機器人基本設計參數機器人有 6 個自由度，其主要技術參數包括自由度、負載能力、重復定位精度、定位精度以及工作空間等，這些參數是反映機器人性能優劣的主要指標。ESR6B 機器人的基本技術參數如表 2-1 所示。表 2-1 ESR6B 機器人基本技術參數

3. 機器人視覺系統硬件平臺搭建機器人視覺系統的硬件選擇直接影響圖像采集，圖像的質量和后期的處理，并影響整個控制系統的實時性，所以應根據要求和這些硬件性能，嚴格選擇硬件。基于伊瑟特的六自由度機器人視覺伺服控制系統主要包括攝像頭、Zynq、存儲、顯示、通信等模塊。Zynq是 Xilinx 設計的一種包含 FPGA+ARM的異構芯片，在 Zynq系統芯片中，包含了基于 艾爾M 的處理系統（PS）和可編程邏輯單元（PL）。伊瑟特主站和 linux操作系統運行在PS端，圖像算法在 FPGA進行硬件加速，放在Pl端。通過阿希總線互聯技術將 FPGA與手臂整合在一起，從而充分發揮出兩種器件結構的優勢。攝像頭的主要特性參數有：分辨率、幀率和色彩空間等。根據這些特性參數， 選擇滿足實驗需求的攝像頭。本系統設計中，選取型號為 OV 5640的 CMOS類型數字圖像傳感器，該傳感器支持輸出最大為 500 萬像素的圖像 （2592x1944）分辨率） 、支持使用 VGA時序輸出圖像數據，輸出圖像的數據格式支持YUV（422/420）、YCbCr 422、RGB 565以及 JPEG格式，本次設計采用 RGB 565格式數據讀取。

圖 2-3 OV 5640攝像頭

本設計中，圖像數據由 OV 5640攝像頭采集，然后由 FPGA對其進行圖像預處理和坐標檢測，數據流經 VDMA通過 HP0口進入 DDR 3內存，然后再通過HP0返回，經過 VDMA、最后通過 HDMI接口輸出視頻。光源的主要參數有：對比度、亮度、表面紋理和光源均勻性。根據上述光源的特性，選擇上海東冠科技的環形光源，型號為Rin-90-6R-10 W、光源為白色的發光二極管。實物圖如圖2-4 所示。

圖 2-4 環形光源實物圖

基于伊瑟特的六自由度機器人視覺伺服控制系統如圖 2-5 所示。

設計演示

視覺伺服性能分析 視覺伺服要求從對目標的識別到控制之間的延時要很短，才能體現控制的實時性。本文設計了一組對照實驗，方案一為采用在 Zynq 板上集成攝像頭的伊瑟特主站，方案二為pc機連接USB攝像頭，并采用廣告將坐標數據傳輸給 TwinCAT主站的方案。兩種方案使用相同的圖像處理算法，主站都處于CSP模式下。

圖 4-5 性能測試平臺

延時計算平臺為STM 32+TFT彩屏和基于XMC 4300的伊瑟特步進從站， 當屏幕開始刷新紅色時，定時器開始計時，當接收到步進從站的脈沖時停止計時， 對比方案一和方案二的延時（單位 我們），如圖 4-6 所示。

圖 4-6 方案對照

可以看出本設計的檢測延時平均僅為58毫秒，而方案二卻長達 2.48s，在運行相同圖像檢測算法情況下，FPGA的延時更低，同時由于本設計將攝像頭直接集成到主站板上，圖像傳輸延時更低，成本更低。