第一代機器人，如第一批消費級機器人吸塵器，相對來說比較簡單，自我導航和執行任務的能力有限。這些機器人通過紅外發射器等探測障礙物，使用震動傳感器檢測碰撞。但是，這些都已成為歷史。

隨著人工智能（AI）、機器學習（ML）和計算機視覺（CV）等融合技術的進步，現在，機器人可以看到周圍的環境，分析動態場景或變化的條件，并做出決定。而硬件創新進一步推動了這些功能的完善，比如越來越強大的移動平臺、更復雜的傳感器和高分辨率圖像捕獲。

有了這些資源，開發者可以專注于開發更少依賴外部硬件（如GPS）的更自主的智能機器人，機器人的工作環境也得到大大的拓展（如，在室內、在弱光下等），并且可以處理不斷變化的環境和移動物體。為零售、汽車、農業、工業物聯網（IoT）、健康和企業等領域的新型機器人應用鋪平了道路。

為實現上述目標，機器人開發者應努力克服機器人視覺三大挑戰：

? 確定對象的方向：不僅要識別周圍環境中的對象，還必須確定它們在3D空間中的方向，以便機器人與這些對象交互和/或回避這些對象。

? 處理移動對象：給定環境中的對象可能不是靜態的。機器人需要在空間和時間上檢測、識別和跟蹤對象。

? 導航：要使機器人具有自主性，還需要相應的算法，允許其在變化的環境中進行移動。

四階段戰略

開發者可以根據要求，通過采用四階段策略來克服這些挑戰：

1. 預處理：從現實世界（如，傳感器和相機）收集數據并轉換，使數據更加方便使用。

2. 特征檢測：從預處理數據中提取諸如角落、邊緣等特征。

3. 對象檢測和分類：從特征檢測對象，并且可以根據已知的特征圖對對象進行分類。

4. 對象跟蹤和導航：跟蹤已識別對象，包括對象和在機器人導航時改變環境的視點。

然后，這些階段生成的數據可用于控制伺服、制定決策以及執行其他高級機器人任務。

聽起來好像工作量很大，事實上也可能如此，但幸運的是，現在有相應的框架和硬件，幫助您解決這個問題。Qualcomm Technologies, Inc.最近發布了 Qualcomm機器人RB3平臺（RB3）（基于QualcommSDA845 SoC（SDA845））及相關的Qualcomm RoboticsRB3開發套件。該套件為開發者提供了移動硬件功能和豐富的工具支持，助力您解決上述挑戰。

本系列文章共兩篇，在第一篇中，我們將介紹該策略的前兩個階段：預處理和特征檢測，以及如何使用功能豐富的開發工具包（如Qualcomm Robotics RB3開發套件。

預處理

機器人使用一個或多個攝像頭和/或其他傳感器從現實世界收集數據。但是，這些原始數據可能不適合于滿足既定目標所需的準確計算和預測。此時，可以使用數字信號處理（DSP）等方法，“清理”數據，使其方便使用。比如，可以采用多種方式清理圖像數據，包括調整大小、伽馬校正和對比度增強；而傳感器數據，如來自Qualcomm Robotics RB3開發套件上的慣性測量單元（IMU）、加速度計、氣壓計和/或麥克風的傳感器數據，可以進行融合、內推和/或過濾。

在處理圖像數據時，必須規劃好收集數量和速度。Qualcomm Robotics RB3開發套件支持兩個（立體）圖像，這意味著系統必須同時處理兩個平面。此外，還可以支持16-32萬像素的分辨率和30-60 fps的幀速率。同樣，可以使用Qualcomm SDA845上的高速和低速連接器以及您采用的傳感器類型，以各種頻率和比特率收集傳感器數據。

為減少處理這些數據的開銷，一般希望使用最低采樣率和分辨率，滿足應用程序所需的數據量即可。此外，還應盡可能將處理流程卸載到合適的處理器。Qualcomm SDA845與專用硬件兼容，包括Qualcomm Hexagon 685 DSP和Qualcomm Spectra 280 ISP，以及更通用的Qualcomm Kryo385 CPU和面向圖形的Qualcomm Adreno 630 GPU。

在API方面，開發者可以使用Qualcomm計算機視覺庫，該庫包含許多用于圖像預處理的硬件加速API。也可以使用Qualcomm神經處理引擎SDK，其中包含圖像預處理API，用于處理神經網絡中的圖像。另外，還可以選擇使用Qualcomm驍龍異構計算SDK，進一步控制計算操作的執行方式。

特征檢測

通過提供干凈的數據，可以提取功能。對于可視化數據，計算機視覺開發者希望的四種常用特性包括：

? 角落：具有局部2D結構的點狀特征

? 邊緣：兩個區域之間的一組點

? Blob：感興趣的區域

? 脊：具有脊點的曲線

這篇維基百科文章提供了有關這些特性的更多信息，并列出了許多特性檢測器算法以及以檢測的特性類型。下圖顯示了從可視數據中檢測到的特性：

特征檢測算法需要大量處理能力，但通常逐個像素運行，因此，很適合在Qualcomm SDA845不同處理器上并行執行。開發者可以使用計算機視覺庫中的特性檢測API，其中包括Harris角檢測器、FAST、Hough Transform和其他檢測器，以及基于最大穩定極值區（MSER）的對象檢測API。

結論

前兩個階段為機器人視覺處理打下了堅實的基礎。預處理將數據轉換為可用形式，而特征檢測則是了解數據的過程。在以后的文章中，我們將繼續探討最后兩個階段：對象檢測和分類、對象跟蹤和導航，為機器人提供導航和與周圍環境交互所需的數據。（來源于Qualcomm）

責任編輯：xj

原文標題：機器人視覺處理四階段策略

文章出處：【微信公眾號：新機器視覺】歡迎添加關注！文章轉載請注明出處。