電子發燒友App
摘要：針對光路中前景遮擋物影響感興趣信息采集的問題，本文對應用相機陣列的遮擋物移除算法進行實驗研究。用陣列型光場相機采集四維光場數據，然后用數字重聚焦技術進行不同深度的重聚焦，突出目標物細節特征。利用圖像重構技術合成子圖像陣列，選擇最小誤差閾值分割法標記遮擋物區域并復現原圖像的細節特征。實驗結果證明了應用陣列型光場相機移除遮擋物的可行性，及其改善圖像質量、復現遮擋區域圖像、提高圖像可讀性、降低噪聲影響的能力。依據無參考的圖像質量評價指標，本文算法在重構圖像質量上SNR與PSNR分別提升了17.3%與77.6%。
? ? ? ? 01 引言
? 在計算機視覺領域中，目標物前出現遮擋與目標物出現混疊時都會對數據采集造成影響。多數傳統相機設備采集數據時僅可以記錄場景的二維信息，當目標物前出現遮擋時，單視角成像設備在數據采集時由于遮擋物的影響，會造成信息的大量丟失。多視角的合成孔徑技術則可以同時記錄空間中光線的四維信息，包括方向信息與角度信息［1］，利用更高維度的信息量減少遮擋物帶來的影響。相機陣列法以斯坦福大學提出的 128 臺相機陣列為代表，相機采用不同的排列方式，獲得多種不同角度的子圖像陣列，同時利用相機陣列的景深特點，通過數字重聚焦技術與合成孔徑技術可實現類似“透視”的效果［2］。相機陣列相比于傳統相機多記錄了兩個維度的信息，為后續有效地移除遮擋物、獲得高還原度的目標信息提供了理論基礎。
? 近年來，去遮擋物算法被國內外眾多學者廣泛研究，并提出了具有高參考價值的理論。劉嚴羊碩等［3］提出一種先利用EPI的邊緣特征估計景深范圍，再進行光場重建的算法。此方法需要遮擋物與目標物存在明顯不同的深度特性，否則影響遮擋物的識別與移除。張世輝等［4］提出一種利用隨機森林檢測深度圖像中遮擋物的方法。其方法是基于機器學習思想，在圖像檢測時需要選擇通用性較好的夾角特性。陳先鋒等［5］提出一種基于先驗信息的去遮擋物算法。該方法對遮擋區域具有低敏感度，對于非遮擋區域具有高敏感度的特性。劉潤興等［6］提出一種聚焦式光場去混疊的方法移除遮擋。此方法對圖像合成有較為良好的改善，但計算量大，實時性還有待提高。Bobick等［7］提出了加入順序約束條件的動態規劃算法。該方法受限于物體的大小，無法有效處理孔狀和窄物體區域。Egnal等［8］基于唯一性約束條件提出交叉驗證算法，受限于唯一性約束，該方法無法使用在水平傾斜表面。
? 遮擋物移除算法大多著重于遮擋物移除的完全性和精確性，忽略了重構圖像的質量，不利于圖像細節部分的還原。本文提出一種應用相機陣列系統，基于光場數據采集與數字重聚焦技術，并通過SEEQ圖像質量評價算法評估圖像質量從而選擇最佳的傾斜因子，并利用最小誤差法分割遮擋物，最后通過圖像增強與形態學處理還原完整的目標圖像的方法。遮擋物移除技術在國防軍事、公共安全、航天遙感等領域都有著很好的發展前景。
? 02 基于相機陣列的遮擋物移除算法
? 本文首先利用數字重聚焦技術，根據遮擋物與目標物體深度上的不同選擇合適的深度重聚焦，突出目標物體細節信息。根據子圖像陣列與相機陣列的位置關系，利用幾何特征連續迭代選擇效果最佳的傾斜因子，得到重構圖像。利用最小誤差法選擇合理的閾值進行遮擋區域的分割。最后移除遮擋區域像素，恢復目標物圖像的細節信息，具體流程如圖1所示。
?2.1光場成像與數字重聚焦
? 如圖2所示，本文采用雙平面參數法來表征光場。該方法依據Levoy等［1］提出的光場渲染理論，分別在主透鏡與傳感器處建立兩個二維平面，設一條同時穿過兩個平面的光線，分別交兩個平面于（u，v）和（s，t）兩點，由（u，v）和（s，t）描述這條光線的二維位置信息與二維方向信息，光線與主透鏡平面和傳感器平面相交的兩坐標點共同構成了光場的四維函數L（u，v，s，t），其中函數值L是光線的輻射通量。?
應用光場數字重聚焦技術可以做到先利用陣列相機采集信息，再根據目標物與遮擋物的深度特性進行數據重聚焦，利用相機的景深特性可以有效突出目標物的細節信息，減小障礙物帶來的影響［9］。這里將光場成像系統中的光線用四維光場函數 L（u，v，s，t）表征［10］，其中u-v面是光學系統主平面，s-t面是探測器所在平面，L（u，v，s，t）代表給定光線的光輻射量，下標F代表上述兩平面間的距離，像面上接受到的輻射量可表示為
?
? 在此基礎上，通過積分求解可以得到一幅數字圖像。由于透鏡平面和探測器平面定義的光場函數與透鏡平面和重聚焦平面定義的光場函數之間的關系可以通過構建相似三角形的幾何變換得到，四維光場函數在空間中的傳播可以表示為
? 在這里α為兩相似三角形的比例系數，調整比例系數的大小控制重聚焦的深度。
? 2.2傾斜因子的確定
? 單視角相機僅記錄二維信息，在面對感興趣區域被遮擋時具有較大的局限性［12］，面對動態的目標物時可采用連續多次拍攝的方式來復現目標物，但面對目標物與遮擋物都為靜態的情況，應用單視角相機移除遮擋物則十分困難。然而使用多視角合成孔徑技術可以利用光場成像獲得豐富的四維信息，為遮擋物的移除提供基礎。通過相機陣列采集子孔徑圖像集，選取中心圖像并使其他圖形根據視差的幾何關系進行平移。根據幾何關系選擇合適的傾斜因子重構圖像，當子圖像經過聯合位移后，選擇不同傾斜因子的狀態會有所不同，導致重構圖像輪廓不清晰。
? 如圖3所示，本文假設同一排陣列相機鏡頭間距為Δm，其中第i的相機相對坐標原點的位置為mi并建立坐標系表征傾斜因子，根據幾何關系有
? 其中：θ為傾斜因子，Δθ為兩圖像沿n軸方向的間距，這里定義則有Δn=1，tanθn=Δm。
? 其中：σ為修正因子，本文中取σ=0.008多次迭代尋找重構效果最好的傾斜因子。
?
2.3圖像重構及其質量分析
? 劉利雄等［11］提出了一個有效的通用無參考（NR）圖像質量評估（IQA）模型，該模型利用畸變圖像的局部空間和光譜熵特征。采用一個基于失真分類和質量評估的兩階段框架，利用支持向量機（SVM）訓練圖像失真和質量預測引擎。被稱為基于空間光譜熵的質量指數（SSEQ），能夠跨多個失真類別評估失真圖像的質量。其中空間熵為
? 其中：x是塊內的像素值，p（x）為經驗概率密度。失真的引入會導致空間熵的變化，噪聲導致局部空間熵的降低，通過研究空間熵的變化特征可以反應出圖像扭曲的類型。該模型利用下采樣響應作為輸入，從輸入中提取12維局部熵特征向量，并從這些特征中學習預測圖像質量分數。
? 按照如圖4所示的裝置圖進行數據采集，該實驗選擇室內場景拍攝目標物飛機模型，遮擋物為樹枝，構建10×10的相機陣列，單次拍攝采集不同角度及不同位置子圖像100張。如圖5所示，本文選擇子圖像陣列中一行圖像進行圖像重構，以第5張圖像為中心其余圖像分別向兩側平移。利用修正因子進行多次迭代，每次迭代后應用SEEQ圖像質量評估模型進行質量評估，從而確定最適合此相機陣列的傾斜因子。觀察重構圖像，雖然重構后遮擋范圍變大，但經過加權平均后，原被遮擋物完全覆蓋住的部分已經被很好地復現與還原。
2.4遮擋物區域標記
? 在計算機視覺中，圖像分割一直是一個熱門的研究方向，同時也是多數圖像處理問題的關鍵步驟。其中經典的閾值分割算法有最小誤差法、最大熵法和最大類間方差法［12-14］等，本文應用的是龍建武等提出的一種自適應最小誤差閾值分割算法［19］。假設轉換為灰度圖像后由暗遮擋物和亮目標物組成，且遮擋物與目標物滿足高斯分布。其中，P0和P1分別為遮擋物C0和C1各自分布的先驗概率，且C0C1各自分布均服從均值為μj和方差為σJ2的正態分布，則有
? 其中：J(t)為最小誤差函數，最佳閾值在其取最小值時獲得。圖6所示為利用最小誤差閾值分割法，經過圖像增強、形態學處理后得到的遮擋物標記圖像。
? 2.5遮擋物區域移除與還原
? 如圖7所示，應用相機陣列采集數據后進行圖像重構，移除目標圖像前被標記的圖像，并用重構圖像進行還原。按本文2.3節所提出的重構方式得到的重構圖像整體質量不高，因為我們只考慮了感興趣區域的重構質量。本文將2.4節所標記的前景區域作為重點，只保留此區域重構質量優秀的圖像組成新的子圖像陣列，提取相機陣列中心相機所拍攝的圖像并標記前景區域。同時保留未被標記區域的全部元素，只對被遮擋區域進行計算，本文提出的方法只對遮擋區域進行相關計算，在最大程度上保證了圖像質量。將感興趣區域中每一個像素點進行替換，得到遮擋物移除后的重構圖像。
? ? 03 實驗結果分析
? 本文實驗所使用的相機陣列中單相機型號為Canon EOS 6D型，搭載了一個2020萬像素的CMOS感光組件與DIGIC5+圖像處理器核心，圖像感應器尺寸為35.8mm×23.9mm，采集圖像最大尺寸為5472×3648。鏡頭型號為EF24~105mmf/4。
? 如圖8所示，本文提出的應用陣列型相機實現遮擋物移除的方法，對于不涉及目標物細節處的圖像有較強的移除遮擋物的能力，并在移除后不會造成明顯的圖像重影與分辨率丟失。對于目標物細節處的還原，利用基于相機陣列采集的大量數據有較強的還原細節能力。圖8（a）為未處理的原始圖像，部分細節信息完全被遮住且無法辨認。圖8(b)為文獻［3］所提出的算法經處理后則可以復現被遮擋部分細節信息，使得字體可以辨認，但重構圖像較為模糊，部分細節無法辨認。圖8（c）為本文提出的遮擋物移除算法，通過合理的傾斜因子選擇很好地根據幾何關系消除了圖像的扭曲，同時還原了圖像的細節信息，保證了圖像質量。
? 如表1所示，為證實本文所提出算法的優勢，本文選取有參考的客觀評價指標MSE、SNR、PSNR、MAE進行比較。在數值上，本文算法的MSE與MAE均小于文獻［3］的結果，在SNR與PSNR上分別提升了17.3%與77.6%。實驗證實了本文提出的算法在細節的還原度上優于其他算法，同時有效提升的重構圖像的信噪比。為了應對實際應用中無參考圖像的情況，我們對比了6組無參考的評級指標，分別為EOG、Brenner、Robters算子與劉利雄等提出的基于空間光譜熵的質量評價方法（SSEQ），Wang等提出的無參考的彩色圖像質量評價方法（CCF）［16］以及Anush?Krishna Moorthy等提出的構造盲圖像質量指數的兩步框架（BIQI）［18］方法對3幅圖像進行質量評價。其中分數區間為0~50，0分為質量最佳。對比10種客觀評價標準，本文算法相對文獻［3］在細節復現與圖像質量上都有明顯改善，獲得了輪廓清晰、可信度高的重構圖像。
? 此外，同時采集圖像與光場數據的方案很好地解決了目標物或遮擋物為動態物體的情況，但是應用陣列型光場相機的遮擋物移除算法需要反復計算得到最佳的傾斜因子，這種方法的計算量較大，無法做到實時移除遮擋物。
? 04 結論
? 本文提出一種應用陣列型光場相機的遮擋物移除算法。實驗結果證明該方法與文獻［3］提出的前景移除算法相比，不需要目標物與遮擋物之間存在較為明顯的深度區別，而且僅對遮擋區域進行計算，減少了圖像重構導致未被遮擋區域的像素損失。本算法應用范圍更廣，實用性更強。在圖像重構中選擇合理的傾斜因子，可以有效降低目標區域的模糊與噪聲的引入，細節上目標物邊緣輪廓也有較為明顯的改善。依據無參考的圖像質量評價指標，本文算法在重構圖像質量上SNR與PSNR分別提升了17.3%與77.6%。本文提出的算法仍具有一定的局限性，在遮擋物分割方面采用最小誤差的閾值分割法，面對目標物與遮擋物灰度范圍較為接近有可能產生分割區域不準確而過度復現原圖導致圖像模糊的現象，今后將針對上述問題做進一步研究。
? 參考文獻：
? ［1］LEVOY MH，ANRAHAN P. Light field rendering［C］//Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques. New Orleans：ACM，1996：31-42.
? ［2］WILBURN B，JOSHI N，VAISH V，et al. High performance imaging using large camera arrays［J］. ACM Transactions on Graphics，2005，24（3）：765-776.
? ［3］劉嚴羊碩，劉賓，潘晉孝基于前景移除的合成孔徑成像算法［J］光學學報，2018，38（6）：0611002.
? LIU Y Y S，LIU B，PAN J X. Synthetic aperture imaging algorithm via foreground removing［J］. Acta Optica Sinica，2018，38（6）：0611002.（in Chinese）
? ［4］張世輝，劉建新，孔令富.基于深度圖像利用隨機森林實現遮擋檢測［J］.光學學報，2014，34（9）：0915003.ZHANG S H，LIU J X，KONG L F. Using random forest for occlusion detection based on depth image［J］. ActaOptica Sinica，2014，34（9）：0915003.（in Chinese）
? ［5］陳先鋒，郭正華，伍俊龍，等.基于區域先驗信息的去遮擋立體匹配算法［J］.激光與光電子學進展，2019，56（19）：191001.
? CHEN X F，GUO Z H，WU J L，et al. De-occlusion stereo matching algorithm based on regional prior informa?tion［J］. Laser & Optoelectronics Progress，2019，56（19）：191001.（in Chinese） ［6］劉潤興，任明俊，肖高博.一種聚焦式光場成像去混疊方法［J］光學學報，2018，38（6）：0611001.
? LIU R X，REN M J，XIAO G B. A method of eliminating artifacts in focused light field imagin［J］.ActaOptica Sinica，2018，38（6）：0611001.（in Chinese）
? ［7］BOBICK A F，INTILLE S S. Large occlusion stereo［J］. International Journal of Computer Vision，1999，33（3）：181-200.
? ［8］EGNAL G，WILDES R P. Detecting binocular half-occlusions：empirical comparisons of four approaches［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head：IEEE，2000：466-473.
? ［9］張春萍，王慶.光場相機成像模型及參數標定方法綜述［J］.中國激光，2016，43（6）：0609004.
? ZHANG C P，WANG Q. Survey on imaging model and calibration of light field camera［J］. Chinese Journal of Lasers，2016，43（6）：0609004.（in Chinese）
? ［10］聶云峰，相里斌，周志良.光場成像技術進展［J］.中國科學院研究生院學報，2011，28（5）：563-572.
? NIE Y F，XIANG L B，ZHOU Z L. Advances in light field photography technique［J］. Journal of the Graduate School of the Chinese Academy of Sciences，2011，28（5）：563-572.（in Chinese）
? ［11］LIU L X，LIU B，HUANG H，et al. No-reference image quality assessment based on spatial and spectral entropies［J］. Signal Processing：Image Communication，2014，29（8）：856-863.
? ［12］KITTLER J，ILLINGWORTH J. Minimum error thresholding［J］. Pattern Recognition，1986，19（1）：41-47.
? ［13］KAPUR J N，SAHOO P K，WONG A K. A new method for grey-level picture thresholding using the entropy of the histogram［J］. Computer Vision，Graphics and Image Processing，1985，29（3）：273-285.
? ［14］OTSU N. A threshold selection method from gray-level histograms［J］. IEEE Transactions on Systems，Man，and Cybernetics，1979，9（1）：62-66.
? ［15］龍建武，申鉉京，陳海鵬.自適應最小誤差閾值分割算法［J］. 自動化學報，2012，38（7）：1134-1144.
? LONG J L，SHEN X J，CHEN H P. Adaptive minimum error thresholding algorithm［J］.Acta Automatica Sinica，2012，38（7）：1134-1144.（in Chinese）
? ［16］WANG Y，LIN，LIZY，etal.An imaging-inspired no-reference underwater color image quality assessment metric［J］. Computers & Electrical Engineering，2018，70：904-913.
? ［17］ MOORTHY A K，BOVIK A C. A two-step framework for constructing blind image quality indices［J］. IEEE Signal Processing Letters，2010，17（5）：513-516.
? 轉自：光場視覺 來源：期刊《液晶與顯示》? 作者：楊墨軒，趙源萌* ，朱鳳霞，張宏飛，張存林
審核編輯：黃飛
?
工商網監
評論