在一些特定環境下，紅外傳感器無法探測到目標時，需要將偏振技術與紅外技術相融合。為了獲得更清楚的融合圖像，可采用一種基于多尺度結構分解的圖像融合方法實現紅外光強與偏振圖像融合。

據麥姆斯咨詢報道，近期，西安工程大學電子信息學院的科研團隊在《紅外技術》期刊上發表了以“基于結構與分解的紅外光強與偏振圖像融合”為主題的文章。該文章第一作者為陳錦妮碩士生導師，主要從事信息與信號處理方面的研究工作；通訊作者為陳宇洋，主要從事圖像融合方面的研究工作。

本文提出一種反正切權值函數與應用在紅外與可見光圖像融合算法相結合，通過均值濾波器，將圖塊級的融合轉換成圖像級的融合，在不同尺度下通過不同權值，充分提取基礎層與細節層中的特征，有效地提高融合圖像的對比度、保留更多的紋理細節、提升了客觀指標。

多尺度圖像分解融合方法原理

本文研究一種基于多尺度結構分解的紅外光強與偏振圖像融合方法。首先，多尺度的優勢可以在融合圖像中感知信息結構、抑制目標周圍的偽影。其次，將紅外光強與偏振圖像通過滑動窗口進行精確圖像分解與融合，并且轉換為圖像級濾波融合，可以降低計算復雜度。

多尺度圖像分解的基本框架

結構圖塊分解的基本思想是將一個大小為k × k的圖像塊分解為3個概念上獨立的部分：平均強度、信號強度和信號結構。在平均強度融合方面，采用加權平均計算強度分量，以使紅外信息與偏振信息都能在融合圖像中得到體現。一般采取兩張輸入圖像進行融合。

控制權重函數非線性曲線如圖1所示。不同的目標物在不同環境下的紅外特性與偏振特征不同，所反應出紅外光強與偏振圖像的平均強度各有高低，通過不同λ的選擇，可以擴大紅外光強和偏振圖塊平均強度的權重差。λ較大表示更多偏振特征可以在融合結果中得到體現，目標的偏振特征也會得到增強。

圖1 控制權重函數非線性曲線

信號強度的融合結果將會直接影響到圖像的局部對比度。信號強度越大，圖像的對比度將會越強、細節更清晰。通過獨立融合的平均強度、信號強度、信號結構的3個分量，逆分解可以計算出局部融合圖塊x?。

圖塊級轉換成圖像級濾波融合

圖塊級融合通常可以通過滑動窗口實現，對每個圖塊進行相應的分解融合，然后放回原處，在圖像重疊處采用像數平均原則，在選擇較大尺寸的圖塊時圖塊級的分解與融合計算代價非常高。為了解決計算代價過高的問題，本文將圖塊級的分解融合轉換成圖像級的濾波融合。

多尺度結構分解方法

了進一步解決融合圖像中目標邊緣模糊和細節丟失等問題，本文采用多尺度的方法，可以讓不同尺度上的特征與細節得到充分的利用，文中采取的多尺度方法與Li H的方法一致。通過下采樣可以將圖片分解成J層，其中包括J－1層細節層和一層基礎層。算法再分解尺度為4時的融合過程如圖2所示。當中第一行和第三行分別是4種尺度下的紅外圖像與偏振圖像，第二行展示不同尺度下的融合過程與最終的融合結果。

圖2 展示多尺度結構分解算法在J＝4時的融合過程

融合圖像主客觀分析

在進行圖像評價之前，應該確定本算法中參數λ。進行6組不同λ參數的融合對比實驗，根據實驗結果，當λ＝5時，本算法在7項評價指標中4項領先，所以這里采用λ＝5。分解層數J是由圖像的H和W與一個可變常數T所自適應確定，這里約定使用T＝3，細節層為2×2，中間層與基礎層分別為2×2與1×1，表1詳細說明本算法在5組融合圖像下不同融合參數的平均質量評價。從中可以看到當λ＝5時算法在信息熵（EN）、視覺保真度（VIF）、多尺度結構相似度測量（MS_SSIM）、結構相似度測量（SSIM），4種指標上取得優勢，而其它的指標也有不俗的表現。

表1 5組融合圖像下不同λ的平均質量評價

主觀評價

選取常見數據集中的5組圖像進行相應的融合，并對比8種多尺度算法在紅外偏振融合的結果，其中包括CP、DWT、GP、LP、PCA、RP、SIDWT以及本文所提出的算法。如圖3~圖7所示。

圖3 Airport在8種多尺度融合算法的結果圖：(a)紅外圖像；(b)偏振圖像；(c)對比度金字塔；(d)離散小波變換；(e)梯度金字塔；(f)拉普拉斯金字塔；(g)主成分分析；(h)低通金字塔；(i)平移不變小波變換；(j)本文算法

圖4 Road在8種多尺度融合算法的結果圖：(a)紅外圖像；(b)偏振圖像；(c)對比度金字塔；(d)離散小波變換；(e)梯度金字塔；(f)拉普拉斯金字塔；(g)主成分分析；(h)低通金字塔；(i)平移不變小波變換；(j)本文算法

圖5 Car在8種多尺度融合算法的結果圖：(a)紅外圖像；(b)偏振圖像；(c)對比度金字塔；(d)離散小波變換；(e)梯度金字塔；(f)拉普拉斯金字塔；(g)主成分分析；(h)低通金字塔；(i)平移不變小波變換；(j)本文算法

圖6 Windows在8種多尺度融合算法的結果圖：(a)紅外圖像；(b)偏振圖像；(c)對比度金字塔；(d)離散小波變換；(e)梯度金字塔；(f)拉普拉斯金字塔；(g)主成分分析；(h)低通金字塔；(i)平移不變小波變換；(j)本文算法

圖7 Outdoor在8種多尺度融合算法的結果圖：(a)紅外圖像；(b)偏振圖像；(c)對比度金字塔；(d)離散小波變換；(e)梯度金字塔；(f)拉普拉斯金字塔；(g)主成分分析；(h)低通金字塔；(i)平移不變小波變換；(j)本文算法

從5組融合圖像中可以得知，通過CP算法融合的圖像，容易產生噪聲，并且大部分在圖像中出現噪聲，部分圖像目標周圍出現偽影。DWT的融合思想，首先對源圖像進行變換，然后按照一定規則對變換系數進行合并，最后對合并后的系數進行逆變換得到融合圖像。而DWT目標周圍發生嚴重的偽影，以及少部分的紋理丟失。

GP與LP都是基于金字塔的多尺度分解方法，將源圖像分別分解到不同的空間頻帶上，融合過程是在各空間頻率層上分別進行的，這樣就可以針對不同分解層的不同頻帶上的特征與細節，采用不同的融合算子以達到突出特定頻帶上特征與細節的目的。PCA融合結果整體平滑，但將關鍵偏振信息丟失。

RP融合通過許多低頻信息，導致融合圖中存在許多噪聲導致融合結果不清晰。SIDWT也是采用不同的融合策略將高頻信息與低頻信息分別融合，最后逆變換獲得最終圖像，整體融合結果對比度較低。最后本文所改進的算法，在紅外光強與偏振圖像的融合中，圖像對比度得到整體提高以及更多的紋理信息，且目標周圍偽影得到有效處理。

客觀評價

除了主觀評價之外，為了對此方法與其他融合方法進行定量對比，選取7種圖像質量的評價指標，其中包括：EN信息熵、QAB/F基于梯度的融合性能、差異相關（SCD）、標準差（SD）、VIF視覺保真度、MS_SSIM多尺度結構相似度測量、SSIM結構相似度測量，評價指標的具體數值如表2所示。EN主要是度量圖像包含信息量多少的評價指標；QAB/F代表圖像邊緣的保留程度；SCD的值度量融合后圖像與源圖像差異性，并且與人類視覺主觀評價相似；SD代表圖像的灰度級分布；VIF用于量化整個圖像的信息保真度；所選取7個評價指標的數值越大，代表融合圖像的質量越好。

表2 融合圖像的客觀評價指標

結論

本文根據傳統多尺度融合方法在紅外光強與偏振圖像中存在的對比度低、目標偏振特征不明顯、紋理細節不夠清晰等問題，提出一種反正切函數作為權重函數與多尺度結構分解相結合的融合算法應用在紅外光強與偏振融合中。詳細說明多尺度結構分解的融合算法，將圖塊級融合的方式轉換為圖像級的濾波融合。然后通過參數實驗結果對比，選取較好的融合參數進行融合。

在主觀上具有較好的效果，提高融合圖像整體對比度，有效地抑制了目標周圍偽影以及保留了更多的紋理細節。在常用的公共數據集中進行主觀評價與客觀評價，實驗結果表明，本方法具有良好的主觀視覺效果，有效解決融合圖像對比低、目標偏振特征不突出、紋理細節不夠清晰、目標偽影等問題，并且在與傳統多尺度算法的7種客觀評價指標的比較中取得4種指標領先的結果，說明該算法在紅外與偏振的融合圖像中具有較多優勢以及多場景的適應性與穩定性。

審核編輯：劉清