OpenCV如何幫助相機自動化視覺跟蹤

01. 導語

在之前的某個教程里，我們探討了如何控制Pan/Tilt Servo設備來安置一個PiCam（樹莓派的相機）。這次，我們將使用你的設備來幫助相機自動地跟蹤某種顏色的物體，像下邊的動圖里那樣：

盡管這是我第一次使用OpenCV，但我必須承認，我已經愛上了這個“開源計算機視覺庫”。

OpenCV對學術用途和商業用途都免費。它有C++、C、Python和Java的接口，并且支持Windows、Linux、MacOS、iOS和Android系統。在我的OpenCV教程系列中，我們將專注于使用樹莓派（當然，操作系統就是Raspbian了）和Python。OpenCV為高效計算而生，極大地專注于實時應用。因此，它對于物理計算（即使用可以感知和響應模擬世界的軟件和硬件來構建交互式物理系統）項目來說，簡直再適合不過了！

02. 安裝 OpenCV 3 庫

我使用的是安裝著目前最新的Raspbian版本（Stretch）的樹莓派V3。安裝OpenCV最好的辦法就是按照Adrian Rosebrock的這篇極棒的教程：Raspbian Stretch: Install OpenCV 3 + Python on your Raspberry Pi。

我在我的樹莓派上試了好幾種不同的OpenCV安裝教程，其中Adrian的是最棒的一篇。我建議各位讀者一步一步按照這篇教程的步驟做。

當你完成了Adrian的教程后，你的樹莓派應該已經安裝好了OpenCV的虛擬環境，并且可以進行我們的實驗了。

讓我們再次檢查一下虛擬環境并確認OpenCV 3已經正確安裝了。

Adrian建議每次打開新的終端都執行一次“source”命令，從而確保你的系統變量已經正確設置：

source ~/.profile

接下來，進入我們的虛擬環境：

workon cv

如果你看到你的命令提示符之前多了個(cv)，那說明你已經進入虛擬環境“cv”了。

(cv) pi@raspberry:~$

Adrian強調，Python虛擬環境“cv”是和Raspbian Stretch系統自帶的Python版本完全獨立的。也就是說，系統Python的site-packages目錄中的那些庫在虛擬環境“cv”中并不能使用——同樣，這個虛擬環境中的包在系統全局的Python版本中也是無法使用的。

現在，Python翻譯器，啟動！

python

同時，請確認你是用的是Python 3.5版本或者更高版本。

在翻譯器中（應該會有“>>>”提示符），導入OpenCV庫：

import cv2

如果沒有出現任何錯誤信息，說明OpenCV在你的虛擬環境中已經正確安裝~

03. 測試你的相機

既然你的樹莓派已經安裝好OpenCV了，那就先測試一下你的相機是否正常工作吧~（假設你已經在你的樹莓派上安裝PiCam了）

在你的IDE中輸入以下代碼：

import numpy as np
import cv2
cap = cv2.VideoCapture(0)


while(True):
    ret, frame = cap.read()
    frame = cv2.flip(frame, -1) # Flip camera vertically
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    
    cv2.imshow( frame , frame)
    cv2.imshow( gray , gray)
    if cv2.waitKey(1) & 0xFF == ord( q ):
        breakcap.release()
cv2.destroyAllWindows()

上述代碼將捕獲你的PiCam的視頻流并使用BGR三色模式和灰度模式顯示。

請注意，我的相機在組裝過程中是上下顛倒的，所以我把得到的圖片垂直翻轉了。如果你并沒有我的情況，請刪掉frame = cv2.flip(frame, -1)那一行。

或者，你可以直接從我的GitHub下載該代碼：simpleCamTest.py

要執行我的代碼，運行：

python simpleCamTest.py

要結束程序，請按鍵盤上的[q]鍵或[Ctrl]+[C]鍵。

下圖是我的結果：

要學習OpenCV的更多知識，可以參考以下教程：loading -video-python-opencv-tutorial

04. 使用 Python 與 OpenCV 進行顏色檢測 我們想做的一件事情就是檢測并跟蹤某種顏色的物體。為此，我們必須理解一點OpenCV是如何翻譯顏色的。

關于顏色檢測，Henri Dang寫了一篇很棒的教程：Color Detection in Python with OpenCV。

通常，我們的相機是使用RGB顏色模式工作的。RGB顏色模式可以這樣認為：我們看到的所有可能的顏色都可以被三種顏色的光（紅，綠，藍）組成。然而，這里我們使用的OpenCV默認是BGR顏色模式，也就是將RGB的順序進行了調整。

正如以上所述，使用BGR顏色模式，每一個像素可以由三個參數——藍、綠、紅組成。每個參數通常是一個0~255之間的值（或者十六進制下0x00到0xFF）。比如，電腦屏幕上的純藍色的BGR值分別為：藍255，綠0，紅0。

OpenCV還使用一種RGB模型的替代——HSV（Hue色相，Saturation色度，Value色值）顏色模型，它是70年代的計算機圖形學研究者為了更好地與人類視覺對顏色屬性的感知方式相匹配而提出的。

好。如果你想要使用OpenCV跟蹤某一種確定的顏色，你必須使用HSV模型定義它。

示例

比如說，我想要跟蹤下圖中的黃色塑料盒。首先要做的就是找出它的BGR值。你可以用很多辦法采樣（這里我用的是PowerPoint）。

我這里找到的是：

藍色：71

綠色：234

紅色：213

下面，我們需要將BGR模型（71, 234, 213）轉換為HSV模型，這將被定義為上下界取值范圍的形式。讓我們執行以下代碼：

import sys
import numpy as np
import cv2
blue = sys.argv[1]
green = sys.argv[2]
red = sys.argv[3]

color = np.uint8([[[blue, green, red]]])
hsv_color = cv2.cvtColor(color, cv2.COLOR_BGR2HSV)
hue = hsv_color[0][0][0]
print("Lower bound is :"),
print("[" + str(hue-10) + ", 100, 100]")
print("Upper bound is :"),
print("[" + str(hue + 10) + ", 255, 255]")

你也可以到GitHub下載我的這段代碼：bgr_hsv_converter.py

要執行我的腳本，運行以下命令并把BGR值作為參數：

python bgr_hsv_converter.py 71 234 213

這個程序將會計算我們目標物體HSV值的上下界。給定以上參數會得到：

lower bound: [24, 100, 100]

以及

upper bound: [44, 255, 255]

以上結果將顯示在終端中。

最后讓我們看看OpenCV如何根據給出的顏色來選擇出我們的物體。

import cv2
import numpy as np


# Read the picure - The 1 means we want the image in BGR
img = cv2.imread( yellow_object.JPG , 1)


# resize imag to 20% in each axis
img = cv2.resize(img, (0,0), fx=0.2, fy=0.2)


# convert BGR image to a HSV image
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)


# NumPy to create arrays to hold lower and upper range
# The “dtype = np.uint8” means that data type is an 8 bit integer
lower_range = np.array([24, 100, 100], dtype=np.uint8)
upper_range = np.array([44, 255, 255], dtype=np.uint8)


# create a mask for image
mask = cv2.inRange(hsv, lower_range, upper_range)


# display both the mask and the image side-by-side
cv2.imshow( mask ,mask)
cv2.imshow( image , img)


# wait to user to press [ ESC ]
while(1):
  k = cv2.waitKey(0)
  if(k == 27):
    breakcv2.destroyAllWindows()

你也可以到GitHub下載我的這段代碼：?colorDetection.py

要執行我的腳本，運行以下命令并把圖片名作為參數（我這里的圖片為yellow_object.JPG）：

python colorDetection.py??

這個腳本將顯示原圖（“image”窗口）和OpenCV使用顏色范圍過濾后的掩膜（“mask”窗口）。

05. 移動物體跟蹤 既然我們已經知道了如何用掩膜來選擇出我們的物體，那就讓我們用相機來實時跟蹤他的移動吧。為此，我基于Adrian Rosebrock的OpenCV小球目標跟蹤教程寫了我的代碼。

我強烈建議你詳細閱讀Adrian的教程。

首先，請確認你已經安裝了imutils庫。它是Adrian基于OpenCV自制的圖像處理基本任務（如修改尺寸、翻轉等）的易用函數集合。如果你還沒有安裝，請在你的Python虛擬環境中運行下面的命令安裝：

pip install imutils

下面，從我的GitHub下載ball_tracking.py代碼并用下面的命令執行：

python ball_traking.py

你將會看到類似于下面的gif的結果：

總體而言，我與Adrian的代碼除了“視頻垂直翻轉”之外沒有什么不同：

frame = imutils.rotate(frame, angle=180)

請注意，這里使用的顏色掩膜的邊界值是我們在上一步得到的。

06. 測試通用 IO

現在我們已經搞定OpenCV的基礎了，是時候給樹莓派裝個LED來試一下通用IO了。

請按照上圖的電路做：LED的負極接到GPIO 21口，正極接一個220Ω的電阻再連接GND。

現在使用我們的Python虛擬環境測試一下這個LED吧！

請注意，有可能你的Python虛擬環境還沒有安裝樹莓派的RPi.GPIO。如果還沒有的話，運行下面的命令即可使用pip安裝（請先確定自己在虛擬環境“cv”中）：

pip install RPi.GPIO

現在用一個Python腳本來做個簡單的測試：

import sys
import time
import RPi.GPIO as GPIO


# initialize GPIO and variables
redLed = int(sys.argv[1])
freq = int(sys.argv[2])
GPIO.setmode(GPIO.BCM)
GPIO.setup(redLed, GPIO.OUT)
GPIO.setwarnings(False)


print(" [INFO] Blinking LED (5 times) connected at GPIO {0} 
at every {1} second(s)".format(redLed, freq))
for i in range(5):
    GPIO.output(redLed, GPIO.LOW)
    time.sleep(freq)
    GPIO.output(redLed, GPIO.HIGH)
    time.sleep(freq)
    
# do a bit of cleanup
print(" [INFO] Exiting Program and cleanup stuff ")
GPIO.cleanup()

上邊的代碼需要一個GPIO端口號和一個LED閃爍頻率作為參數。LED閃爍5次后程序結束。結束之前記得釋放GPIO。

也就是說，運行腳本時要給出兩個參數：“LED GPIO”和frequency。舉個例子：

python LED_simple_test.py 21 1

上邊的指令意味著使用“GPIO 21”上連接的LED燈，并且每1秒閃爍一次，總共閃爍五次。

同樣，上邊這段代碼也可以在GitHub下載：GPIO_LED_test.py

上邊的圖片顯示了我的程序結果。至于LED燈亮不亮，就要各位自己去檢驗啦。

好，下面讓我們把OpenCV和基本GPIO操作一起耍起來～

07. 識別顏色和GPIO(General-purpose input/output：通用型輸入輸出)交互 讓我們開始集成 OpenCV 代碼和 GPIO 進行交互。我們會從最后的OpenCV 代碼開始，并且我們將會把 GPIO_RPI 庫集成到代碼中，其目的是在攝像頭檢測到我們的著色物體時，能使紅色LED常亮。?這一步驟使用的代碼是基于 Adrian 寫得非常不錯的教程OpenCV, RPi.GPIO, and GPIO Zero on the Raspberry Pi

第一件需要做的事情是：”創建“我們的LED對象，目的是為了連接上指定的GPIO。

import RPi.GPIO as GPIO
redLed = 21
GPIO.setmode(GPIO.BCM)
GPIO.setwarnings(False)
GPIO.setup(redLed, GPIO.OUT)

第二，我們必須初始化LED（關燈狀態）:

GPIO.output(redLed, GPIO.LOW)

ledOn = False
現在，在代碼循環體中，當物體被檢測到，”圓“被創建時，我們會把LED燈打開

GPIO.output(redLed, GPIO.HIGH)
ledOn = True

你可以在我的GitHub庫中下載到完整的代碼：object_detection_LED.py

運行代碼使用到的命令行：

python object_detection_LED.py

下面的圖片就是實現的效果。提示：當物體被檢測到時，在圖片左下方的LED燈就會亮著。

試試不同顏色，不同形式的物體，你會發現一旦顏色和掩碼范圍內匹配的話，LED燈就會亮起來。

下面的視頻顯示了一些經驗。要注意的是，只有在色值一定范圍內的黃色物體才會被檢測到，LED等會亮起來。而其他不同顏色的物體則會被略過。

正如最后一步解釋的那樣，我們只是用到了LED燈。但是在視頻中，攝像頭卻集成了云臺（Pan Tilt：指攝像頭可全方位左右/上下移動），所以不妨先忽略它。我們會下一步驟中實現云臺機制。

08. 云臺機制

現在我們已經用上了基本的 OpenCV 和 GPIO，那么接下來我們升級一下云臺機制。

獲取更多細節，請查看我的教程：Pan-Tilt-Multi-Servo-Control

伺服（servo：一種微型電子與機械產品的合體轉置）需要連接額外的 5V 電力供應模塊，并且這些伺服使用它們的數據插口（在我這邊，它們是黃色的布線）連接草莓派的 GPIO，連接方式如下：

GPIO 17 ==> 傾斜伺服

GPIO 27 ==> 水平伺服

不要忘記了將 GND（GND：ground，接地端）引腳也連到一起 ==> 草莓派——伺服——額外電力供應模塊

你有個可選項：在草莓派 GPIO 和服務端的數據輸入引腳之間串聯一個 1K 歐姆的電阻。這個舉措可以在伺服發生問題時保護你的草莓派。

讓我們一起用這個機會在虛擬 Python 環境中測試一下我們的伺服。
我們執行 Python 腳本來測試一下驅動器。

from time import sleep
import RPi.GPIO as GPIO)


GPIO.setmode(GPIO.BCM)
GPIO.setwarnings(False)def setServoAngle(servo, angle):
  pwm = GPIO.PWM(servo, 50)
  pwm.start(8)
  dutyCycle = angle / 18. + 3.
  pwm.ChangeDutyCycle(dutyCycle)
  sleep(0.3)
  pwm.stop()


if __name__ ==  __main__ :
import sys
  servo = int(sys.argv[1])
  GPIO.setup(servo, GPIO.OUT)
  setServoAngle(servo, int(sys.argv[2]))
  GPIO.cleanup()

上面代碼的核心是 setServoAngle(servo, angle)方法。這個方法會接收的參數有：一個 GPIO 數字，一個伺服被定位的角度值。一旦把角度值輸入到這個方法中，我們必須將其轉換到等效的工作周期中（duty cycle:指伺服進入角度變化的時間段）。

執行腳本時，你要輸入兩個參數值：GPIO 伺服對應的端口以及角度值。

例如：python angleServoCtrl.py 17 45

上面的命令行會將在連接在GPIO 17端口的伺服（傾斜伺服）定位到45度的”海拔“上。

angleServoCtrl.py 文件可以在我的GitHub上下載到。

09. 實時獲取物體位置 將物體定位到屏幕中央的想法會使用到云臺機制。實現這個想法壞消息是我們必須實時地定位到物體的位置，但好消息是如果我們已經知道了物體中心坐標點，這將會很容易。

首先，我們使用之前用過的”object_detect_LED“代碼，以及修改該代碼，以打印出檢測物體的 x，y坐標點。

代碼可以從我的GitHub中下載到：objectDetectCoord.py

代碼核心邏輯是：在檢測到的物體區域畫出一個圓，并且在圓的中心畫一個紅點。

# only proceed if the radius meets a minimum size
if radius > 10:
  # draw the circle and centroid on the frame,
  # then update the list of tracked points
  cv2.circle(frame, (int(x), int(y)), int(radius),
    (0, 255, 255), 2)
  cv2.circle(frame, center, 5, (0, 0, 255), -1)


  # print center of circle coordinates
  mapObjectPosition(int(x), int(y))


  # if the led is not already on, turn the LED on
  if not ledOn:
    GPIO.output(redLed, GPIO.HIGH)
    ledOn = True

我們輸出中心點坐標到 mapObjectPosition(int(x), int(y))?方法中，目的是打印這些坐標點。方法如下：

def mapObjectPosition (x, y):
    print ("[INFO] Object Center coordinates at 
    X0 = {0} and Y0 =  {1}".format(x, y))

在跑這個程序時，我們會看到在命令行終端上輸出的（x,y）坐標點，如下圖所示：

太好了！我們可以使用這些坐標點作為云臺追蹤系統的開始點。

10. 物體位置追蹤系統

我們想要目標始終在屏幕的中央，我們來定義一下，例如：假如滿足下方條件，我們就認為物體在中央：

220 < x < 280

160 < y < 210

而在這個界限之外的話，我們就需要通過移動云臺裝置來修正偏差。基于這個邏輯，我們可以構建如下方法mapServoPosition(x, y)。需要注意的是，該方法中使用到的”x“和”y“是和我們之前打印出來的中心位置一樣的。

# position servos to present object at center of the frame
def mapServoPosition (x, y):
    global panAngle
    global tiltAngle
    if (x < 220):
        panAngle += 10
        if panAngle > 140:
            panAngle = 140
        positionServo (panServo, panAngle)
    if (x > 280):
        panAngle -= 10
        if panAngle < 40:
            panAngle = 40
        positionServo (panServo, panAngle)
    if (y < 160):
        tiltAngle += 10
        if tiltAngle > 140:
            tiltAngle = 140
        positionServo (tiltServo, tiltAngle)
    if (y > 210):
        tiltAngle -= 10
        if tiltAngle < 40:
            tiltAngle = 40
        positionServo (tiltServo, tiltAngle)

基于這些（x,y）坐標點，并使用方法positionServo(servo, angle)?，伺服位置命令已經產生了。舉個例子：假如”y“的位置是”50“，這就意味著我們的物體幾乎在屏幕的頂部，也就是說攝像頭的視野是往下的（比如說傾斜裝置處于120°上），所以要調低傾斜裝置的角度（比如說調到100°），如此一來，攝像頭的視野將會抬高，進而使得物體在屏幕上就會往下方移動（比如 y坐標提高到190的位置）。

上面的圖例在幾何上解釋了舉的例子。

思考一下水平裝置上的攝像頭如何移動的。要注意的是屏幕并不是鏡像映射的，也就是說，當你面對著攝像頭時，如果你將物體移動到”你的左邊“，但在屏幕上看，物體卻會在”你的右邊“移動。

positionServo(servo, angle)方法可以寫成這樣：

def positionServo (servo, angle):

    os.system("python angleServoCtrl.py " + str(servo) + " " +
              str(angle))
    print("[INFO] Positioning servo at GPIO {0} to {1} 
    degrees".format(servo, angle))

上面的代碼中，我們將會調用之前展示的伺服移動腳本。

注意：?angleServoCtrl.py一定要和 objectDetectTrac.py 在同一個目錄下。

完整的代碼可以從我的GitHub上下載：objectDetectTrack.py

下面的gif 展示了我們的項目運行的效果：