2023 年1月18日，工業(yè)和信息化部、教育部等十七部門(mén)印發(fā)《“機(jī)器人+”應(yīng)用行動(dòng)實(shí)施方案》（以下簡(jiǎn)稱《方案》）。

《方案》提出，研制交互、教學(xué)、競(jìng)賽等教育機(jī)器人產(chǎn)品及編程系統(tǒng)，分類(lèi)建設(shè)機(jī)器人服務(wù)平臺(tái)。加大機(jī)器人教育引導(dǎo)，完善各級(jí)院校機(jī)器人教學(xué)內(nèi)容和實(shí)踐環(huán)境，針對(duì)教學(xué)、實(shí)訓(xùn)、競(jìng)賽等場(chǎng)景開(kāi)發(fā)更多功能和配套課程內(nèi)容。強(qiáng)化機(jī)器人工程相關(guān)專業(yè)建設(shè)，提升實(shí)驗(yàn)機(jī)器人產(chǎn)品及平臺(tái)水平，加強(qiáng)規(guī)范管理。推進(jìn)5G、人工智能、智能語(yǔ)音、機(jī)器視覺(jué)、大數(shù)據(jù)、數(shù)字孿生等技術(shù)與機(jī)器人技術(shù)融合應(yīng)用，積極培育機(jī)器人校園服務(wù)新模式和新形態(tài)，深化機(jī)器人在教學(xué)科研、技能培訓(xùn)、校園安全等場(chǎng)景應(yīng)用。

為響應(yīng)國(guó)家大力發(fā)展新工科的號(hào)召，為高職、本科等院校的機(jī)器人與人工智能相關(guān)專業(yè)的學(xué)習(xí)和教育提供全面、良好的條件，大象機(jī)器人推出了一套基于視覺(jué)識(shí)別+機(jī)械臂的整體解決方案-人工智能套裝 2023版，實(shí)現(xiàn)從識(shí)別到分揀的全自動(dòng)化作業(yè)，并期望最終攜手用戶一起打造產(chǎn)學(xué)研的閉環(huán)，形成高質(zhì)量的新工科人才培養(yǎng)體系，助力國(guó)家科技教育的向前發(fā)展！

在已部署數(shù)千套第一代人工智能套裝后，歷經(jīng)2年研發(fā)，人工智能套裝 2023版 全新升級(jí)，

●5大視覺(jué)識(shí)別算法

●6種適配機(jī)械臂

●7大硬件升級(jí)

● 8大機(jī)器人學(xué)習(xí)點(diǎn)！

并支持可視化軟件，是定位抓取、自動(dòng)分揀模塊為一體的入門(mén)級(jí)人工智能套裝。基于python平臺(tái)，可通過(guò)開(kāi)發(fā)軟件實(shí)現(xiàn)機(jī)械臂的控制，簡(jiǎn)單易學(xué)，能夠快速入門(mén)學(xué)習(xí)人工智能基礎(chǔ)知識(shí)，啟發(fā)創(chuàng)新思維，領(lǐng)悟開(kāi)源創(chuàng)意文化。

本套裝擴(kuò)展性好，開(kāi)放性高，可以被用于多種用途?？梢子酶咝?shí)訓(xùn)平臺(tái)、機(jī)器人學(xué)科搭建、機(jī)器人實(shí)驗(yàn)室或個(gè)人學(xué)習(xí)與使用。

2023

產(chǎn)品特點(diǎn)

01五大視覺(jué)識(shí)別算法

機(jī)器視覺(jué)是用機(jī)器來(lái)代替人眼進(jìn)行目標(biāo)對(duì)象識(shí)別、判斷和測(cè)量的技術(shù)。機(jī)器視覺(jué)通過(guò)計(jì)算機(jī)模擬人的視覺(jué)功能，主要技術(shù)涉及目標(biāo)圖像獲取技術(shù)、圖像信息處理技術(shù)、目標(biāo)對(duì)象測(cè)量與識(shí)別技術(shù)。典型機(jī)器視覺(jué)系統(tǒng)主要由視覺(jué)感知單元、圖像信息處理與識(shí)別單元、處理結(jié)果顯示單元和視覺(jué)系統(tǒng)控制單元組成。

1

顏色識(shí)別

顏色識(shí)別能力可以對(duì)輸入圖片的顏色信息進(jìn)行分析，輸出顏色值（RGB形式和HEX格式）與對(duì)應(yīng)的占比信息。

人工智能套裝 2023版使用eye-to-hand的模式，使用攝像頭，通過(guò)OpenCV進(jìn)行顏色定位，并將符合情況的顏色物塊框出，通過(guò)相關(guān)點(diǎn)位計(jì)算出物塊相對(duì)于機(jī)械臂的空間坐標(biāo)位置。為機(jī)械臂設(shè)置一套相關(guān)動(dòng)作，根據(jù)識(shí)別的物塊顏色不同放置不同的物料框中。

2形狀識(shí)別

物體的形狀識(shí)別是模式識(shí)別的重要方向，在計(jì)算機(jī)中物體的形狀有多種表示方式，基于不同的形狀表示方式，提出了多種形狀識(shí)別方法，如基于傅里葉描述子、主分量分析、不變性距等方法。在形狀識(shí)別中，識(shí)別所基于的模式特征非常重要。

形狀識(shí)別的一般流程：形狀提取、形狀特征提取和分類(lèi)識(shí)別。

3、特征點(diǎn)識(shí)別

FAST角點(diǎn)檢測(cè)，通過(guò)考察像素點(diǎn)與周?chē)I(lǐng)域內(nèi)的16個(gè)像素點(diǎn)的差異來(lái)確定特征點(diǎn)，并且通過(guò)分割測(cè)試算法對(duì)檢測(cè)效率做了極大的提升。

圖像特征點(diǎn)帶你學(xué)習(xí)圖像分割、保存圖片特征。

4、yolov5識(shí)別

傳統(tǒng)的目標(biāo)檢測(cè)系統(tǒng)利用分類(lèi)器來(lái)執(zhí)行檢測(cè)。為了檢測(cè)對(duì)象，這些系統(tǒng)在測(cè)試圖片的不同位置不同尺寸大小采用分類(lèi)器對(duì)其進(jìn)行評(píng)估。如目標(biāo)檢測(cè)系統(tǒng)采用deformable parts models (DPM)方法，通過(guò)滑動(dòng)框方法提出目標(biāo)區(qū)域，然后采用分類(lèi)器來(lái)實(shí)現(xiàn)識(shí)別。近期的R-CNN類(lèi)方法采用region proposal methods，首先生成潛在的bounding boxes，然后采用分類(lèi)器識(shí)別這些bounding boxes區(qū)域。最后通過(guò)post-processing來(lái)去除重復(fù)bounding boxes來(lái)進(jìn)行優(yōu)化。這類(lèi)方法流程復(fù)雜，存在速度慢和訓(xùn)練困難的問(wèn)題。

我們將目標(biāo)檢測(cè)問(wèn)題轉(zhuǎn)換為直接從圖像中提取bounding boxes和類(lèi)別概率的單個(gè)回歸問(wèn)題，只需一眼（you only look once，YOLO）即可檢測(cè)目標(biāo)類(lèi)別和位置。

5、AR二維碼識(shí)別

在特征提取模塊中，我們使用紋理特征提取算法從原始輸入圖像中提取出多分辨率直方圖特征、局部二值模式特征和邊緣方向直方圖特征，這三種紋理特征的表達(dá)形式均為一維數(shù)組。我們將這 3 個(gè)數(shù)組連接為 1 個(gè)一維數(shù)組，作為后續(xù)分類(lèi)模塊的輸入。

四種ID二維碼識(shí)別學(xué)習(xí)二維和三維世界之間的投影關(guān)系。

02、高精度相機(jī)

提供完整的視覺(jué)硬件設(shè)備，相機(jī)能夠?qū)崟r(shí)的“看到”工件所處的位置以及姿態(tài)，自動(dòng)判斷得到下一個(gè)抓取的工件信息。機(jī)械臂系統(tǒng)根據(jù)相機(jī)的分析結(jié)果，自動(dòng)規(guī)劃路徑并同時(shí)避開(kāi)障礙物實(shí)現(xiàn)對(duì)工件的抓取。

支持相機(jī)光源調(diào)整，對(duì)反光、暗色等金屬件，緊密貼合或隨意擺放物件均可有效識(shí)別相機(jī)點(diǎn)云成像細(xì)膩，抓取精度高，引導(dǎo)精準(zhǔn)，高效準(zhǔn)確的完成引導(dǎo)操作，抓取精度可到0.5mm。

03 六種適配機(jī)械臂

適配6種桌面級(jí)小型機(jī)械臂-M5Stack和樹(shù)莓派版本，采用高度集成的伺服單元，在融合機(jī)械臂的基礎(chǔ)原理的同時(shí)，精簡(jiǎn)結(jié)構(gòu)設(shè)計(jì)，方便進(jìn)行課程教學(xué)。

（M5版本和樹(shù)莓派版本）

04、可視化軟件

支持可視化軟件操作，可以選擇對(duì)應(yīng)視覺(jué)算法，全自動(dòng)識(shí)別抓取放置，方便觀看效果展示，并且支持分步運(yùn)行，可以只識(shí)別、只抓取、只放置，讓用戶理解每一過(guò)程原理。同時(shí)，可以通過(guò)圖形化的方式，實(shí)時(shí)顯示坐標(biāo)信息，物體定位坐標(biāo)與機(jī)械臂實(shí)時(shí)坐標(biāo)；顯示物體識(shí)別信息，比如形狀識(shí)別三角形，會(huì)顯示形狀為三角形。

總而言之，幫助用戶實(shí)現(xiàn)所有可監(jiān)測(cè)信息的圖形化顯示，用戶也可以在軟件控制界面下，修改XY坐標(biāo)，完成精準(zhǔn)抓取。

05、開(kāi)源軟件系統(tǒng)ROS

軟件系統(tǒng)基于開(kāi)源機(jī)器人操作系統(tǒng)ROS進(jìn)行架構(gòu)設(shè)計(jì)，方便利用各種人工智能開(kāi)源資源，開(kāi)發(fā)如視覺(jué)抓取、3D感知場(chǎng)景規(guī)劃等智能化應(yīng)用。

2023

機(jī)械臂視覺(jué)抓取過(guò)程

01、手眼標(biāo)定

手眼標(biāo)定即相機(jī)內(nèi)參和外參的標(biāo)定，用于矯正圖像和后續(xù)數(shù)據(jù)推算。內(nèi)參即與相機(jī)安裝位置無(wú)關(guān)的本身硬件參數(shù)（如焦距、像素大小等），內(nèi)參標(biāo)定功能包為 camera-calibration ；外參即相機(jī)在世界坐標(biāo)系中的參數(shù)（如相機(jī)的位置、旋轉(zhuǎn)方向等），外參標(biāo)定的功能包easy_handeye 。

02、實(shí)現(xiàn)物體識(shí)別與定位

視覺(jué)抓取的第一步自然是對(duì)于目標(biāo)物體的識(shí)別和定位，目前可以借助開(kāi)源視覺(jué)庫(kù)Opencv的內(nèi)置庫(kù)以及ROS開(kāi)源包進(jìn)行實(shí)現(xiàn)。不論是通過(guò)二維圖像的深度信息或是物體的顏色形狀 還是三維點(diǎn)云的識(shí)別分析，相機(jī)需要傳回目標(biāo)物體在世界坐標(biāo)系中的位置和姿態(tài)。

對(duì)于物體的識(shí)別分析，后續(xù)可以進(jìn)一步采用機(jī)器學(xué)習(xí) / 深度學(xué)習(xí)的方法。

03、計(jì)算位置坐標(biāo)

計(jì)算位置坐標(biāo)，需要根據(jù)上一步相機(jī)返回物體的像素中心點(diǎn)坐標(biāo)，再根據(jù)抓取區(qū)域中心點(diǎn)相對(duì)于機(jī)械臂坐標(biāo)和可識(shí)別物體相對(duì)與機(jī)械臂的坐標(biāo)，以及兩個(gè)aruco二維碼的相關(guān)距離數(shù)值，推算出機(jī)械臂抓抓取物體的坐標(biāo)。

4.運(yùn)動(dòng)規(guī)劃

機(jī)械臂的運(yùn)動(dòng)規(guī)劃（這里包括路徑規(guī)劃）屬于上層算法內(nèi)容，是機(jī)械臂算法的研究重點(diǎn)。

插件Movelt!為我們提供了一個(gè)易于使用的集成化開(kāi)發(fā)平臺(tái)。它由一系列移動(dòng)操作的功能包組成，包括運(yùn)動(dòng)規(guī)劃、操作控制、3D感知、運(yùn)動(dòng)學(xué)、動(dòng)力學(xué)、控制與導(dǎo)航算法等。我們可以通過(guò) Moveit! 提供的的編程接口來(lái)進(jìn)行機(jī)械臂的運(yùn)動(dòng)規(guī)劃控制，根據(jù)第三步中的目標(biāo)姿態(tài)，得到一個(gè)可達(dá)路徑。

2023

完整配套

針對(duì)實(shí)驗(yàn)教學(xué)和實(shí)踐教學(xué)，完整配套系列教材、實(shí)訓(xùn)指導(dǎo)書(shū)等，輕松開(kāi)展教與學(xué)活動(dòng)。

01 八大學(xué)習(xí)點(diǎn)

視覺(jué)教育套裝你能學(xué)到什么?

OpenCV

Python編程

ROS學(xué)習(xí)

逆運(yùn)動(dòng)學(xué)

手眼標(biāo)定

機(jī)器視覺(jué)

末端執(zhí)行器使用

AI機(jī)器視覺(jué)

機(jī)器人控制原理

末端執(zhí)行器使用

02 課程大綱

2023

套裝組件

（點(diǎn)擊放大查看）

2023

產(chǎn)品參數(shù)

名稱 ：人工智能套裝 2023版

整體尺寸：500X400X405mm

識(shí)別速度：顏色/形狀/二維碼：300ms特征點(diǎn)：600ms

識(shí)別精度：3mm

攝像頭名稱：USB無(wú)畸變攝像頭

圖像像素：2M 1080p

支持圖像格式：MJPG/YUY2

像元尺寸：3.0umx3.0um

最高幀率：MJPG：1920*1080@30fpsYUV：1920*1080@30fps

USB 協(xié)議：標(biāo)準(zhǔn) UVC 協(xié)議

電源供應(yīng)：DC5V 90mA

視場(chǎng)角度：110°無(wú)畸變

鏡頭焦距：2.8mm

支持的系統(tǒng)：Windows XP/7/8/10/VISTA/SEVEN/MAC、LINUX(include uvc)/樹(shù)莓派/Android 4.2+

2023

應(yīng)用案例

適用于中高職、及應(yīng)用型本科，面向人工智能、機(jī)器人工程、自動(dòng)化等相關(guān)專業(yè)的實(shí)驗(yàn)實(shí)訓(xùn)教學(xué)使用。

1.某兩所中等職業(yè)學(xué)校-人工智能實(shí)訓(xùn)項(xiàng)目

2.某中學(xué)人工智能項(xiàng)目

審核編輯黃宇