文 / 軟件工程師 Manfred Ernst 和 Bartlomiej Wronski，Google Research

我們從未停止對 Pixel 進行優化，并會通過定期更新，讓它變得更實用、更有趣以及更多的功能，如最近對相機應用的 V8.2 更新。其中一項優化（已于十月份在 Pixel 5 和 Pixel 4a 5G 中推出）便是這一“底層”功能：基于曝光序列的 HDR+ 拍攝。此功能會通過融合以不同曝光時間拍攝的圖像來提高圖像質量（特別是光影部分），從而產生更自然的色彩、更豐富的細節和紋理，并降低噪聲。

HDR 場景為何難以拍攝？

原始的 HDR+ 連拍系統是高質量手機拍照成像的關鍵：快速拍攝一組故意曝光不足的連續圖像，然后將融合、渲染，使圖像在色調范圍內保留細節。但這個系統有一個不足之處，那就是在高動態范圍 （HDR） 場景中的陰影部分噪聲較大，這是因為所有拍攝的圖像都曝光不足。

圖像傳感器自身的物理限制，以及陰影部分的信號較弱，共同導致 HDR 場景拍攝困難。無論是針對陰影還是高光場景，我們都有辦法正確曝光，但無法在單次曝光中兼顧兩者。

攝影師有時會拍攝兩張不同程度的曝光，然后將其融合來克服這些限制。這種方法稱為曝光融合 （exposure bracketing），可以實現兩全其美的拍攝效果，但通過手動調整參數來完成這個過程非常耗時。此外，它在計算成像方面也非常具有挑戰性，因為它需要做到以下幾點：

在保持 Pixel 相機快速、可預測的拍攝體驗的同時，拍攝額外的長曝光幀。

利用長曝光幀，同時避免幀間物體運動產生的鬼影。

為了克服這些困難，原始的 HDR+ 系統采用了一種不同的方法來處理高動態范圍場景。

HDR+ 的不足

HDR+ 所用的拍攝策略是建立在曝光不足基礎上的，這可以避免高光部分的細節丟失。雖然這種策略以犧牲陰影部分的成像質量為代價，但 HDR+ 通過使用連續拍攝抵消了增加的噪聲。

此方法適用于具有中度動態范圍的場景，對于 HDR 場景卻無任何幫助。如要究其原因，我們需要更深入地了解這兩種噪聲是如何在圖像中出現的。

連拍中的噪聲

一種重要的噪聲叫做散粒噪聲 （shot noise），它僅取決于拍攝時獲得的總進光量，也就是 N 個幀的進光量之和。每個曝光時間為 E 秒的幀，其散粒噪聲與一個曝光時間為 N × E 秒的單個幀相同。如果這是所拍攝圖像中唯一的噪聲類型，那么連續拍攝可以達到和長時間曝光一樣的效果。

遺憾的是，在拍攝每一幀時，傳感器都會帶入第二種噪聲：讀出噪聲 （read noise）。讀出噪聲與拍攝時的進光量無關，而是取決于所拍攝的幀數，也就是說，每拍攝一幀，就會額外增加固定量的讀出噪聲。

這就是為什么用連拍方法來減少總噪聲不如簡單地長時間曝光來得有效：多幀拍攝雖然可以減少散粒噪聲，但也會增加讀出噪聲。雖然讀出噪聲隨幀數的增加而升高，但我們仍然可以通過連拍降低整體噪聲，但這樣做會降低效率。如果將一個長曝光分解成 N 個短曝光，則最終圖像中的信噪比會因為讀出噪聲的增加而降低。

在這種情況下，要獲得單次長曝光的信噪比，我們則需要合并 N2 個短曝光幀。在下面的例子中，如果一個長曝光被分成 12 個短曝光，我們必須拍攝 144 （12 × 12） 個短幀來匹配陰影部分的信噪比！

拍攝和處理這些幀會花費更多時間，連拍和處理連拍可能需要一分鐘以上，從而導致糟糕的用戶體驗。相反，采用包圍式曝光則使我們能夠在兼具高光保護和降噪功能的情況下，同時拍攝短曝光幀和長曝光幀。

基于多曝光融合的解決方案

多曝光融合帶來的挑戰使得原始的 HDR+ 系統無法使用它，但我們在之后不斷改進，加上最近的不懈努力，終于讓它在相機應用中得到實現。首先，為 HDR+添加多曝光融合需要重新設計拍攝策略。

使用零秒延時（ZSL） 技術使拍攝變得復雜， 這項技術可為 Pixel 上的快速拍攝體驗提供支持。在 ZSL 的助力下，按下快門前，取景器中顯示的幀均是用于 HDR+ 連拍融合的幀。在使用多曝光融合的情況下，我們會在按下快門后拍攝一個額外的長曝光幀，而此幀不會顯示在取景器中。

請注意，在按下快門后保持相機靜止半秒鐘來適應長曝光，有助于改善圖像質量，即使正常手抖也不會對此造成影響。

在夜視模式下，此拍攝策略則不受取景器的限制，因為所有幀都是在按下快門之后拍攝的，此時取景器已關閉，此模式能夠很好地適應長曝光幀拍攝。本例中，我們拍攝了三個長曝光幀，以進一步去噪。

融合算法

在融合多曝光圖像序列時，將一個短幀選作參考幀，以避免可能發生的高光部分過曝和運動模糊。在合并所有其他幀之前，先將其與此幀對齊。這就帶來了一個挑戰：對于復雜的場景運動或遮擋區域，無法找到精確匹配的區域，此時使用樸素融合算法將會造成鬼影 （Ghosting Artifacts）。

為解決此問題，我們設計了一個新的空間融合算法，其與超分辨變焦（Super Res Zoom） 所用的算法類似，會逐個判斷像素的內容，決定是否應該合并圖像內容。這一去鬼影過程在處理不同曝光程度的幀時將會更加復雜。

長曝光幀會產生不同的噪聲特征，高光部分會出現過曝或不同程度的運動模糊，這使得與短曝光參考幀的對比更加困難。此外，所拍攝曝光序列中的鬼影更明顯，因為遮掩這些錯誤的噪聲減少了。

盡管存在這些挑戰，我們的算法和原始的 HDR+ 及超分辨變焦一樣，能夠很好地解決上述問題，并不會產生鬼影。同時，它的圖像合并速度較之前提升 40%。

這是因為在成像過程初期就對裸格式圖像進行了融合，所以我們能夠在保持其余成像步驟和 HDR+ 的標志性效果不變的同時，實現所有這些好處。此外，喜歡使用計算成像中的裸格式圖像的用戶也能從這些圖像質量和性能改進中獲益。

Pixel 上的多曝光融合

多曝光融合的 HDR+ 功能目前已在 Pixel 4a （5G） 及 Pixel 5 上推出，用戶可以在使用默認相機時，在夜視和人像模式下使用這一功能。Pixel 4 及 4a 用戶則可以通過 Google 相機應用在夜視模式下使用多曝光融合功能。

用戶無需采取任何操作，即可激活基于多曝光融合的 HDR+ 功能。基于多曝光融合的 HDR+ 功能將根據場景的動態范圍和運動存在與否，選擇最佳曝光度，以拍攝出優質的圖像（示例）。

編輯：jq