?圖像拼接操作是指將具有重疊區域的兩幅 RGB 圖像和兩幅深度圖像分別拼接成一幅 RGB 圖像和一幅深度圖像。所謂基于相機空間位置的圖像拼接方法，就是將相機按照指定的方式安裝，然后根據圖像中每個像素的空間坐標進行拼接。該方法是應用在深度圖像中，結合 RGB 圖像與深度圖像的對齊操作，也可以用于 RGB 圖像的拼接。?

基于相機空間位置的圖像拼接方法的重點在于相機的安裝方式，具體安裝要求如下：第一，所安裝的相機在垂直方向需要與所拍攝區域保持平行。第二，所安裝的相機在水平方向需要前后、左右保持平行。下圖展示的是安裝兩個 RGB-D 相機的示意圖，垂直方向安裝示意圖如下圖a 所示，水平方向安裝示意圖如下圖b 所示。在安裝好相機之后，需要確定相機的安裝高度和相機之間的間距。?

本文在設計單件分離系統時使用了兩個 RGB-D 相機，對于兩個 RGB-D 相機的深度圖像拼接的具體步驟如下：? 1. ?處理兩幅深度圖像中的背景像素點。依次遍歷兩幅深度圖像中的每個像素點，像素值為 65535 的像素點即為背景像素點，需要將其像素值設置為相機安裝的高度。?

2. ?計算深度圖像中的像素點對應到相機坐標系下的空間坐標。根據前面中的介紹，像素坐標系與相機坐標系之間的轉換公式如下：

3. ?根據相機坐標系下的空間坐標對兩幅深度圖像進行拼接。遍歷深度圖像中的每個像素點，根據其相機坐標系下的空間坐標，對兩幅深度圖像以每行像素點“行滿”的方式進行拼接。具體步驟如下：??

　　a） 使用 OpenCV 創建存儲拼接結果的矩陣，寬度與單個深度圖像的寬度一樣，高度是單個深度圖像的高度的兩倍。用 H 表示存儲拼接結果矩陣的高度。

　　b） 將兩個 RGB-D 相機拍攝范圍重疊的部分平分為兩個部分，左邊部分記作 leftPart，右邊部分記作 rightPart。

　　c） 先按行遍歷圖中左邊 RGB-D 相機采取的深度圖像。

　　d） 根據其每個像素點的空間坐標，若該像素點的空間位置在 rightPart中，則把該像素點丟棄；若該像素點的空間位置不在 rightPart 中，則把該像素點及深度值填入存儲拼接結果的矩陣中。每行處理完之后，若該行中的每個點都填入了存儲拼接結果的矩陣中，則拼接結果的矩陣的行高 H 加 1。

　　e） 接著按行遍歷圖右邊 RGB-D 相機采取的深度圖像。

　　f） 根據其每個像素點的空間坐標，若該像素點的空間位置在 leftPart中，則把該像素點丟棄；若該像素點的空間位置不在 leftPart 中，則把該像素點及深度值填入存儲拼接結果的矩陣中。每行處理完之后，若該行中的每個點都填入了存儲拼接結果的矩陣中，則拼接結果的矩陣的行高 H 加 1。

　　g） 根據存儲拼接結果的矩陣的高度 H 對矩陣進行裁剪。

　　下圖是基于相機空間位置的深度圖像拼接結果，為了方便展示對齊結果，根據相機的高度，將深度圖像轉換為灰度圖像。左邊的兩幅圖像分別為上下兩個 RGB-D 相機所獲取的圖像，右邊的圖像為拼接之后的結果。基于相機空間位置的圖像拼接方法用于深度圖像拼接時只需要 5ms 左右，其拼接速度和效果都是可以應用在單件分離系統中的。

在對兩幅深度圖像進行拼接的過程中也可以執行 RGB 圖像與深度圖像對齊操作，這樣也可以對兩幅 RGB 圖像進行拼接。下圖是基于相機空間位置的RGB 圖像拼接結果，雖然拼接效果不夠完美，但是其拼接速度在 30ms 以內，該方法已經應用在單件分離系統中。?

編輯：黃飛

?