本篇關于之前做的一個project的具體實現。常有一種遺憾，遇到很美的風景而你的鏡頭卻不能全部將它收入“眼底”。現在許多手機上都有了全景模式，這個功能在一定程度上緩解了問題，但對于有些的同學比如說我依然會拍出“抖動”嚴重的畫面。今天我要介紹的這個project就可以將多個單張不同角度的風景拼成一張大圖。

效果如下：

首先使用Harris Corner特征檢測器和sift描述符檢測圖像中的特征，并在其他圖像中找到最佳匹配特征; 然后使用RANSAC 對齊照片(確定它們的重疊和相對位置)，最后將生成的圖像拼接到一個無縫的全景圖中。

多張單圖：

全景圖：

首先基本步驟為：

1. 進行角點檢測，本文中將使用Harris corner detector方法進行角點檢測。
2. 進行興趣點描述，構建sift descriptor。
3. 兩張圖片之間進行興趣點匹配
4. 利用Ransac算法計算兩張圖片之間的homography(H矩陣)
5. 根據H變換圖片并將兩張圖片拼接在一起。
6. 多次運行以上步驟，將所有圖片進行拼接，最后獲得全景圖。

具體步驟：

Step1. Harris corner角點檢測

A.計算圖像x，y方向上的導數。

B.計算圖像導數的協方差矩陣H。

H=

通常，在計算協方差矩陣時，計算窗口或圖像的小區域上的，和之和。為了獲得更好的角點檢測結果可以使用高斯加權窗口。使用det(H)/trace(H)，其中det(H)為 計算每個點的Harris響應值。設置閾值找到并存儲興趣點位置。

code：

def detectKeypoints(image):
#接收圖像
    image = image.astype(np.float32)
    image /= 255.
    height, width = image.shape[:2]
    features = []
    
    grayImage = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
#轉換成灰度圖 計算Harris值
    harrisImage, orientationImage = computeHarrisValues(grayImage)
    #harrisImage=[harrisImage>np.average(harrisImage)]
#應用LocalMaxima算法進行特征篩選
    harrisMaxImage =computeLocalMaxima(harrisImage)
#設置threshold將特征值進一步過濾，興趣點數量進一步減少
    threhold = 0.01*np.max(harrisImage)
    
    for y in range(height):
        for x in range(width):
            if not harrisMaxImage[y, x]:
                continue


            f = cv2.KeyPoint()
            f.size = 10
            f.angle = orientationImage[y,x]
            f.pt = (x,y)
            f.response = harrisImage[y,x]
            if(f.response>threhold):
                features.append(f)
    return features

Harris corner的部分

def computeHarrisValues(Image):


    height, width = Image.shape[:2]


    harrisImage = np.zeros(Image.shape[:2], dtype=float)
    orientationImage = np.zeros(Image.shape[:2], dtype=float)


    sobx = np.zeros(Image.shape[:2], dtype=float)
    filters.sobel(Image, 1, sobx)
    soby = np.zeros(Image.shape[:2], dtype=float)
    filters.sobel(Image, 0, soby)
    # sobx = filters.convolve(srcImage,sx,mode='reflect')
    # soby = filters.convolve(srcImage,sy,mode='reflect')
    Ix = sobx*sobx
    Iy = soby*soby
    Ixy = sobx*soby


    Wxx = filters.gaussian_filter(Ix,sigma=0.5)
    Wyy = filters.gaussian_filter(Iy,sigma=0.5)
    Wxy = filters.gaussian_filter(Ixy,sigma=0.5)


    harrisImage = Wxx*Wyy - Wxy*Wxy - 0.1*(Wxx+Wyy)*(Wxx+Wyy)
    orientationImage  = np.arctan2(soby,sobx)*(180) / np.pi


    return harrisImage, orientationImage

結果展示：