本文簡(jiǎn)要介紹今年CVPR 2023的錄用論文“Document Image Shadow Removal Guided by Color-Aware Background”的主要工作。現(xiàn)有的文檔圖像陰影去除方法 [1,2]依賴于固定值背景而忽略文檔的其他印刷顏色，可能會(huì)對(duì)具有復(fù)雜背景的圖像造成顏色失真或陰影殘留問(wèn)題。為了解決上述問(wèn)題，作者提出了顏色感知背景提取網(wǎng)絡(luò)(CBENet)提取彩色背景用于指導(dǎo)陰影去除網(wǎng)絡(luò)(BGShadowNet)進(jìn)行陰影去除。BGShadowNet分為兩個(gè)階段，在階段一采用背景約束解碼器生成一個(gè)粗略的結(jié)果，在階段二通過(guò)在編碼-解碼模型中嵌入基于背景的注意力模塊(BAModule)維持文檔外觀的一致性，用細(xì)節(jié)增強(qiáng)模塊(DEModule)提高紋理細(xì)節(jié)來(lái)改進(jìn)初步去陰影的結(jié)果。在兩個(gè)基準(zhǔn)數(shù)據(jù)集RDD和Kligler上定性和定量的實(shí)驗(yàn)證實(shí)了本文所提出方法的優(yōu)越性。

一、研究背景

目前的文檔陰影去除算法 [1,2]通常假設(shè)文檔的背景顏色是一個(gè)固定值。用聚類 [1]或是深度學(xué)習(xí) [2]的方法得到背景顏色指導(dǎo)文檔圖像陰影的去除。但是這樣的做法會(huì)忽略文檔中存在的其它印刷顏色，對(duì)文檔背景復(fù)雜的圖像可能會(huì)造成顏色失真或陰影殘留的問(wèn)題。如圖1(d)存在顏色失真和陰影殘留，(f) 存在陰影殘留。而本文提出的基于顏色感知背景的文檔圖像陰影去除方法能很好地避免這兩個(gè)問(wèn)題。

圖1 本文基于顏色感知背景的方法可以更好地去除文檔圖像陰影，避免顏色失真和陰影殘留。

二、方法原理簡(jiǎn)述

圖2 模型結(jié)構(gòu)圖

圖2是模型的整體結(jié)構(gòu)圖，它包含顏色感知背景提取網(wǎng)絡(luò)(Color-aware Background Extraction Network, CBENet)和陰影去除網(wǎng)絡(luò)(Background-guided Shadow Removal Network , BGShadowNet)。CBENet采用U-Net [3]結(jié)構(gòu)用于提取顏色隨空間變化的彩色背景，提供一些有用的顏色信息幫助BGShadowNet進(jìn)行陰影去除。彩色背景的GT計(jì)算過(guò)程如下，首先將無(wú)陰影的圖像分為16×16的Patch，然后對(duì)于每個(gè)區(qū)域，根據(jù)像素強(qiáng)度聚類成兩個(gè)簇，分別是背景和文字。一般來(lái)說(shuō)背景比文字亮一些，用更亮的簇的均值作為這個(gè)Patch的背景顏色。最后對(duì)這個(gè)區(qū)域做平滑，避免邊界顏色過(guò)度不平滑。圖3展示了彩色背景的可視化。

圖3 彩色背景可視化：(a) 陰影圖像，(b) 局部背景圖像，(c) 最終背景圖像。

BGShadowNet包含兩個(gè)階段，階段1的目的是生成一個(gè)粗略的陰影去除圖像，采用U-Net [3]結(jié)構(gòu)。為了利用背景圖像的編碼特征，在解碼的時(shí)候?qū)BENet的編碼特征集成到對(duì)應(yīng)的層級(jí)，最后生成一個(gè)粗略的去陰影結(jié)果。在階段2對(duì)階段1的結(jié)果進(jìn)行改進(jìn)和提升。輸入粗略的去陰影結(jié)果和原圖的堆疊，進(jìn)入一個(gè)編碼-解碼網(wǎng)絡(luò)(DenseUnet [4])，在基于背景的注意力模塊(Background-based Attention Module, BAModule)結(jié)合彩色背景信息保持文檔外觀的一致性。在細(xì)節(jié)增強(qiáng)模塊(Detail Enhancement Module, DEModule)利用底層特征來(lái)恢復(fù)粗糙結(jié)果的紋理細(xì)節(jié)。最后的結(jié)果經(jīng)過(guò)判別器判斷文檔的真實(shí)性。

圖4 BAModule結(jié)構(gòu)圖

有相似背景的區(qū)域應(yīng)該具有類似的外觀(顏色和光照)。然而，粗略的去除陰影結(jié)果中可能存在光照或顏色偽影。為了保持圖像的整體一致性，本文引入了一種基于背景的注意力模塊(BAModule)，其結(jié)構(gòu)如圖4所示。編碼特征和背景特征堆疊后經(jīng)過(guò)卷積生成顏色感知注意力圖與堆疊后的輸入特征相乘得到輸出特征。

由于網(wǎng)絡(luò)中存在多個(gè)卷積和下采樣操作，高層次的特征可能會(huì)丟失部分細(xì)節(jié)信息，導(dǎo)致細(xì)節(jié)模糊的結(jié)果。與高層次特征相比，CNN層的低層特征通常包含更多的紋理細(xì)節(jié)。因此，本文引入了一個(gè)細(xì)節(jié)增強(qiáng)模塊(DEModule) 來(lái)利用網(wǎng)絡(luò)中的低層特征，恢復(fù)粗略結(jié)果的紋理細(xì)節(jié)，其結(jié)構(gòu)如圖5所示。取編碼器前兩層的編碼特征堆疊后經(jīng)過(guò)兩次卷積得到特征圖M，全局平均池化后得到，計(jì)算兩者之間的余弦相似度得到S。通過(guò)以下公式對(duì)S進(jìn)行量化得到量化編碼圖E，和量化級(jí)別L一起得到反映低層信息的相對(duì)統(tǒng)計(jì)信息的量化計(jì)數(shù)圖C。C通過(guò)卷積后與上采樣后的結(jié)果堆疊得到絕對(duì)統(tǒng)計(jì)信息H。H通過(guò)圖5右側(cè)的分支生成新的量化級(jí)別與量化編碼圖E相乘后得到輸出特征。

圖5 DEModule結(jié)構(gòu)圖

網(wǎng)絡(luò)的Loss包括CBENet的背景重建Loss，第二個(gè)是階段1和階段2輸出結(jié)果的Loss，第三個(gè)是結(jié)構(gòu)一致性損失，最后一個(gè)是對(duì)抗損失。

三、主要實(shí)驗(yàn)結(jié)果及可視化效果

本文構(gòu)建了一個(gè)真實(shí)的文檔陰影去除數(shù)據(jù)集RDD，4371份用于訓(xùn)練，545用于測(cè)試。測(cè)試的數(shù)據(jù)集還包括Kligler [5]。表1實(shí)驗(yàn)結(jié)果證明本文方法的有效性。兩個(gè)數(shù)據(jù)集上的RMSE、PSNR和SSIM都優(yōu)于現(xiàn)有的文檔陰影去除方法。

表1 RDD和Kligler測(cè)試集的實(shí)驗(yàn)結(jié)果

圖6 各種陰影去除方法的可視化比較：(a) 輸入圖像，(b) Jung，(c) DSC，(d) Fu，(e) DHAN，(f) CANet，(g) BEDSR-Net，(h) 本文的BGShadowNet，以及 (i) 真實(shí)標(biāo)注圖像。

用戶測(cè)試的實(shí)驗(yàn)結(jié)果也表明本文的方法去陰影的效果排名最高。有20.32%的志愿者認(rèn)為本文的方法去陰影的效果最好。

表2展示了本文提出的BAModule和DEModule的消融實(shí)驗(yàn)，圖7是對(duì)應(yīng)的可視化結(jié)果。表3展示了彩色背景的消融實(shí)驗(yàn)。

表2 在RDD和Kligler上的消融實(shí)驗(yàn)，BASE1：一個(gè)DenseUnet；BASE2：兩個(gè)堆疊的DenseUnet；BGShadowNet1：沒(méi)有Stage2；BGShadowNet2：沒(méi)有DEModule和BAModule；BGShadowNet3：沒(méi)有BAModule；BGShadowNet4：沒(méi)有DEModule。

圖7 消融實(shí)驗(yàn)的可視化比較：(a) 輸入圖像，(b) BASE1，(c) BASE2，(d) BGShadowNet1，(e) BGShadowNet2，(f) BGShadowNet3，(g) BGShadowNet4，以及 (h) 本文的BGShadowNet。

表3 在RDD數(shù)據(jù)集上彩色背景的消融實(shí)驗(yàn)

四、總結(jié)及討論

1. 為了解決現(xiàn)有方法對(duì)具有復(fù)雜背景的圖像造成顏色失真或陰影殘留問(wèn)題，本文提出了顏色感知背景提取網(wǎng)絡(luò)(CBENet)提取彩色背景用于指導(dǎo)陰影去除網(wǎng)絡(luò)(BGShadowNet)進(jìn)行陰影去除。

2. 本文提出基于背景的注意力模塊(BAModule)維持文檔外觀的一致性，以及細(xì)節(jié)增強(qiáng)模塊(DEModule)提高紋理細(xì)節(jié)。

3. 當(dāng)圖像受到嚴(yán)重的噪聲干擾時(shí)，本文方法的陰影去除結(jié)果可能會(huì)包含一些殘留噪聲，導(dǎo)致與周圍環(huán)境的亮度不均勻。

五、相關(guān)資源

論文地址：https://openaccess.thecvf.com/content/CVPR2023/papers/Zhang_Document_Image_Shadow_Removal_Guided_by_Color-Aware_Background_CVPR_2023_paper.pdf