降噪是一種先進技術(shù)，可用于減少圖像中的顆粒和變色，并能夠最大限度避免圖像質(zhì)量下降。

使用數(shù)碼相機拍過照片的人應該都十分熟悉“噪點”，這是一種會使照片清晰度和銳度降低的變色斑點。

許多攝影師都有減少圖像噪點的技巧和竅門，比如校正相機鏡頭的設(shè)置，或在不同的光線下進行拍攝。事實上，不僅是拍攝出的圖像會因噪點看起來有混色，在計算機圖形中噪點的影響也非常常見。

噪點指的是不屬于原始圖像的隨機亮度和顏色變化。“去除圖像中的噪點”這一過程被稱為“降噪”，這在圖像處理和計算機視覺領(lǐng)域正變得越來越普遍。

圖像降噪技術(shù)能利用先進的算法去除圖形和渲染中會對圖像質(zhì)量產(chǎn)生巨大影響的噪點。如若不使用降噪技術(shù)，就不可能實現(xiàn)逼真的視覺效果和身臨其境的渲染效果。

什么是降噪？

在計算機圖形學中，圖像由有用的信息和會降低清晰度的噪點組成。最理想的降噪結(jié)果是生成一個只保留有用信息的清晰圖像。在對圖像進行降噪時，保留視覺細節(jié)與組成部分也同樣十分重要（如邊緣、棱角、紋理和其他具有鮮明結(jié)構(gòu)的特征等）。

為了在不影響視覺細節(jié)的情況下減少噪點，必須對圖像中的三類信號進行降噪：

• 漫反射：沿所有方向反射的散射照明

• 高光或反射：沿特定方向的照明

• 無限遠光源產(chǎn)生的陰影：太陽或任何其他無限遠光源的可見性信息（陰影）

為創(chuàng)建最清晰的圖像，用戶必須按照漫反射和高光信號的方向投射數(shù)千條光線。但在實時光線追蹤中，通常平均每個像素只使用小于等于一條光線。

在實時光線追蹤中，所使用的光線數(shù)目越低，越能保持實時交互性能，因此降噪必不可少。

每個像素與一條光線相匹配的噪點圖像。

如何進行降噪？

圖像降噪通常基于三種技術(shù)：空間過濾、時間累積以及機器學習和深度學習重建。

示例：經(jīng)過空間和時間降噪后的最終圖像。

空間過濾是通過重新使用相似的相鄰像素，有選擇性地改變圖像的某些部分。空間過濾的優(yōu)點是不會產(chǎn)生時間滯后，因此能夠立即響應不斷變化的流動條件。但空間過濾會產(chǎn)生模糊、混濁以及時間的不穩(wěn)定性，會造成圖像中的閃爍和視覺缺陷。

時間累積會重復使用前一幀數(shù)據(jù)，以確定當前幀中是否存在可以糾正的偽影或視覺異常。盡管時間累積造成時間滯后，但它并不會產(chǎn)生模糊，相反它增加了時間穩(wěn)定性以減少多幀閃爍和偽影。

示例：20 幀時間累積。

機器學習和深度學習重建使用神經(jīng)網(wǎng)絡(luò)來重建信號。該神經(jīng)網(wǎng)絡(luò)是使用各種噪點和參考信號訓練而成的。盡管單幀的重建信號看起來很完整，但它會隨著時間的推移逐漸暫時失去穩(wěn)定性，因此需要采用一種時間穩(wěn)定的形式來進行降噪。

圖像中的降噪

降噪能夠向用戶提供即時視覺反饋，因此用戶可以查看圖形和設(shè)計并與之交互，以便用戶就能夠?qū)饩€、材質(zhì)、視角、陰影等變量進行各種嘗試。

開發(fā)者可以使用 NVIDIA 實時降噪器（NRD）等解決方案，輕松將降噪技術(shù)整合到流程中。NRD 是與 API 無關(guān)的時空降噪庫，主要用于處理 low ray-per-pixel 信號。

開發(fā)者能夠利用 NRD，在每像素光線受限的情況下實現(xiàn)實時結(jié)果。開發(fā)者可在以上視頻中詳細了解 NRD 如何“舉重若輕”地實時解決圖像噪點問題。

“消逝的光芒 2（Dying Light 2）”“殺手 3（Hitman III）”等熱門游戲都使用了 Real-Time Denoisers（NRD）進行降噪。

NRD 在 Techland 的“消逝的光芒 2：人與仁之戰(zhàn)（Dying Light 2 Stay Human）”實現(xiàn)了出色的效果。

NRD 支持對漫反射、高光以及陰影信號的降噪。NRD 包含以下降噪器：

• ReBLUR：基于自穩(wěn)定循環(huán)模糊概念的降噪器，專門用于處理使用低光線預算生成的漫反射和鏡面反射信號

• SIGMA：快速陰影降噪器，支持來自任何類型光源（如太陽光、局部光源）的陰影

• ReLAX：保留 NVIDIA RTX Direct Illumination 產(chǎn)生的照明細節(jié)。該框架可賦能開發(fā)者實時渲染具有數(shù)百萬動態(tài)區(qū)域燈光的場景。ReLAX 還能提高時間穩(wěn)定性，并持續(xù)響應不斷變化的照明條件