在前面的文章中我們介紹了瑞薩獨(dú)有的DRP技術(shù)是如何工作的，本文將作為DRP-AI系列文章，繼續(xù)介紹如何基于DRP技術(shù)實(shí)現(xiàn)工業(yè)自動(dòng)化中的目標(biāo)物體檢測(cè)與追蹤。

工業(yè)生產(chǎn)要實(shí)現(xiàn)自動(dòng)化，必然離不開(kāi)機(jī)器視覺(jué)的幫忙。RZ/A2M集成了瑞薩第一代DRP（動(dòng)態(tài)可重新配置處理器）技術(shù)，擁有超高性能的圖形圖像處理能力，相關(guān)產(chǎn)品系統(tǒng)框圖如下：

圖1 RZ/A2M硬件結(jié)構(gòu)框圖和產(chǎn)品特色

本文中，我們將重點(diǎn)介紹RZ/A2M在工業(yè)自動(dòng)化領(lǐng)域應(yīng)用的優(yōu)勢(shì)，包括更高的圖像處理能力以及超低的功耗。

機(jī)械臂之所以能夠如此靈活的識(shí)別并抓取目標(biāo)物體，是因?yàn)橛蠷Z/A2M獨(dú)有的DRP模塊對(duì)機(jī)器視覺(jué)的圖像處理過(guò)程進(jìn)行加速。外接的顯示器上可以看到，整個(gè)圖像處理流程（包括bayer轉(zhuǎn)RGB、波紋校正&白平衡、RGB轉(zhuǎn)二值化圖像、尋找輪廓、圖像降噪、Bayer轉(zhuǎn)灰階送顯示等）只用了不到3ms，最終達(dá)到VGA（640x480）分辨率下60fps的優(yōu)良性能。

“

如何實(shí)現(xiàn)的？

前邊介紹了諸多DRP的優(yōu)勢(shì)，大家可能對(duì)于DRP的使用方法有諸多猜測(cè)，可能會(huì)擔(dān)心難以上手。但是！不用擔(dān)心！瑞薩電子為大家提供了完整的服務(wù)，目前我們開(kāi)發(fā)了大約80+個(gè)算法庫(kù)供大家使用，大部分算法庫(kù)與opencv的庫(kù)功能相同、接口一致，非常方便即可在一個(gè)普通的工程中使用DRP。

圖2 CV庫(kù)和DRP庫(kù)的切換

下面我們以Bayer轉(zhuǎn)RGB的庫(kù)為例，看看在使用DRP的時(shí)候需要做哪些事情。

首先是函數(shù)接口，需要提供的參數(shù)包括輸入地址、輸出地址、圖像寬高以及是否使用tinning（在轉(zhuǎn)換過(guò)程中可以同時(shí)對(duì)圖像尺寸進(jìn)行壓縮）。

在函數(shù)內(nèi)部，需要先將DRP的庫(kù)load到DRP硬件中去，g_drp_lib_bayer_binning2rgb這個(gè)數(shù)組中存放的就是編譯好的二進(jìn)制格式DRP庫(kù)。我們使用6個(gè)Tile并行處理一張圖片的方式，因此給6個(gè)Tile都load此庫(kù)。

Load之后，依次給每個(gè)Tile計(jì)算參數(shù)并啟動(dòng)它。由于這里是同一張圖裁成6份，所以每個(gè)Tile只負(fù)責(zé)一張圖的1/6，因此在這里需要分別計(jì)算每個(gè)Tile的起始位置和輸出位置。計(jì)算完畢后下發(fā)Start命令讓這個(gè)Tile開(kāi)始運(yùn)行。

最后等待6個(gè)Tile全部運(yùn)算完畢即可。

目前我們可以提供的約50個(gè)庫(kù)都能實(shí)現(xiàn)2~80倍不等的性能提升，DRP庫(kù)對(duì)性能的提升普遍在10~20倍之間，10倍以下的庫(kù)提升效果不明顯的原因是這些算法本身過(guò)于簡(jiǎn)單，優(yōu)化空間太小。以下列舉了部分現(xiàn)有的庫(kù)以及運(yùn)算能力對(duì)比供大家參考。

當(dāng)然，如果客戶(hù)有想要的庫(kù)是我們暫時(shí)沒(méi)有的，也歡迎提出需求，我們會(huì)綜合考慮后安排到后續(xù)開(kāi)發(fā)計(jì)劃中。

或者，如果客戶(hù)有一些自有的比較機(jī)密的算法想移植到DRP中使用，我們也可以提供DRP庫(kù)開(kāi)發(fā)的相關(guān)培訓(xùn)，手把手教你開(kāi)發(fā)DRP庫(kù)。

編輯：黃飛

?