IMX490：高對比度場景的單次曝光 HDR 和閃爍緩解介紹

雖然傳感器通過增加更多傳感器功能和更高的低光靈敏度不斷改進，但應用工程師仍然面臨著增加價值的壓力，因為他們努力突破相機和傳感器所能提供的極限。這通常會導致工程師添加在主機 PC 上進行的成像后處理。一種流行的后處理功能為高對比度場景（例如戶外汽車應用中的場景）實現(xiàn)了高動態(tài)范圍 (HDR) 處理管道。隨著索尼 IMX490 CMOS 傳感器的發(fā)布，索尼已將 HDR 處理轉(zhuǎn)移到傳感器上

作者：wolfq121218

雖然傳感器通過增加更多傳感器功能和更高的低光靈敏度不斷改進，但應用工程師仍然面臨著增加價值的壓力，因為他們努力突破相機和傳感器所能提供的極限。這通常會導致工程師添加在主機 PC 上進行的成像后處理。一種流行的后處理功能為高對比度場景（例如戶外汽車應用中的場景）實現(xiàn)了高動態(tài)范圍 (HDR) 處理管道。隨著索尼 IMX490 CMOS 傳感器的發(fā)布，索尼已將 HDR 處理轉(zhuǎn)移到傳感器上，使視覺工程師有機會簡化他們的 HDR 應用程序，同時還可以利用 LUCID 的相機內(nèi)置 24 位圖像處理管道。

高動態(tài)范圍：傳統(tǒng)方式

HDR 成像通常需要處理多張圖像，每張圖像具有不同的曝光時間設置，然后將其組合成一張圖像。不同的曝光設置允許在高光和陰影中收集更多可用的圖像數(shù)據(jù)。例如，較長的曝光時間將在陰影中捕獲更多數(shù)據(jù)，但代價是高光過曝。較短的曝光時間則相反，在高光中捕獲更多可用數(shù)據(jù)，而曝光時間太短則無法在陰影中捕獲任何可用數(shù)據(jù)。最終處理后的圖像將從每次曝光中獲取最佳數(shù)據(jù)并將其組合成 HDR 圖像。

附注

傳統(tǒng)的 HDR 成像可以使用相機的序列器功能完成。序列器允許對相機進行編程，使其連續(xù)拍攝一系列圖像。每幅圖像可以具有不同的設置，包括不同的分辨率、增益、曝光度等。然后可以在主機 PC 上處理這些圖像。

傳統(tǒng) HDR：不適合運動

雖然傳統(tǒng) HDR 成像非常適合幾乎沒有運動的靜態(tài)場景，但汽車應用等高速場景可能會產(chǎn)生運動偽影。當場景中的物體在不同曝光之間改變位置時，就會產(chǎn)生運動偽影。發(fā)生這種情況的原因是每次曝光都是在不同的時間進行的，一次接一次，曝光之間的這種延遲會導致 HDR 后期處理產(chǎn)生的最終圖像中的物體看起來變形或扭曲在一起。

最終 HDR 結(jié)果、運動偽影：

生成的 HDR 圖像存在嚴重的運動偽影。這在汽車和建筑物的扭曲中表現(xiàn)得很明顯。

IMX490：同時曝光

與傳統(tǒng)的 HDR 處理不同，索尼的 IMX490 CMOS 傳感器在曝光之間沒有任何延遲。事實上，所有曝光都設置為相同的長度并同時進行。這要歸功于傳感器的子像素技術（也稱為分割像素技術），其中傳感器包含大像素和小像素，每個像素大小具有不同的光敏度。此外，每個子像素都以高低轉(zhuǎn)換增益讀出，為每個像素提供四個 12 位通道。然后在傳感器上處理這四個通道并將其組合成單個線性 24 位 HDR 值。（注意：雖然可以更改大像素和小像素之間每個像素的曝光長度，但建議保持不變）。

IMX490：消除閃爍

IMX490 上的子像素同時曝光的另一個好處是可以減輕 LED 閃爍。許多傳統(tǒng)的 HDR 相機必須使用非常短的曝光時間來測量明亮場景中的低靈敏度數(shù)據(jù)，以避免光電二極管過度飽和。不幸的是，這些短曝光時間可能短到足以捕捉到 LED 閃爍 - LED 電源中的快速電壓變化導致 LED 快速交替開啟和關閉，從而導致視頻顯示 LED 閃爍。但由于子像素技術，IMX490 不需要使用這些非常短的曝光時間。對明亮區(qū)域更敏感的特定子像素可以設置為與其他像素相同的較長曝光時間，從而使傳感器能夠平均化閃爍。

工作原理：像素結(jié)構(gòu)

傳感器的設計包括提高整體靈敏度并降低圖像噪聲的技術。IMX490 是背照式 （BSI） 傳感器，其布線層位于光電二極管下方。這樣可以讓更多光線到達光電二極管而不會受到電路布線的阻礙，從而提高靈敏度。每個子像素還具有不同大小的微透鏡，以更好地將光線聚焦到各自的光電二極管中。實施了遮光罩以及深溝槽，以幫助將每個像素與兩個子像素之間的光學串擾和電荷泄漏隔離開來。這種設計可實現(xiàn)高量子效率、超過 120dB 的動態(tài)范圍，組合子像素飽和容量為 120000 e-。

交互式圖表 – 請將鼠標懸停在圖表中的點上以顯示 QE %

TRI054S-CC（彩色，索尼 IMX490 CMOS）

EMVA 1288 是機器視覺傳感器和相機規(guī)格測量和表示的標準。

如前所述，IMX490 使用每個像素位置的兩個子像素來實現(xiàn)高動態(tài)范圍，這兩個子像素的靈敏度和飽和度各不相同。每個子像素都以高低轉(zhuǎn)換增益讀出，為每個像素提供四個 12 位通道。這四個通道組合成單個線性 24 位 HDR 值。EMVA1288 標準不直接適用于 24 位組合數(shù)據(jù)，但適用于各個通道。結(jié)果是在各個通道上測量的，并在適當?shù)臅r候進行縮放，以反映通道如何組合成 24 位 HDR 圖像。

像素電位橫截面和驅(qū)動序列

IMX490 的獨特設計融合了子像素 1 （SP1） 和子像素 2 （SP2） 的多個浮動擴散。當曝光同時發(fā)生時，來自 SP1 和 SP2 的信號將串行輸出。下面的動畫顯示了像素電位的各個階段以及像素驅(qū)動序列。

階段：

8） SP1 和 SP2 中的所有電荷都被重置。1**） **曝光：兩個子像素（SP1 和 SP2）同時曝光。

SP1 讀出： 2） 對SP1 低增益和高增益復位電平進行采樣。3 ） 對 SP1 高轉(zhuǎn)換增益信號進行采樣。4**）** 對 SP1 低轉(zhuǎn)換增益信號進行采樣。** 由于對 SP1 復位電平和信號電平進行采樣，因此該子像素可以執(zhí)行相關雙采樣 （CDS） 以降低噪聲。*

SP2 讀出： 5） SP2 的高轉(zhuǎn)換增益被采樣。6 ） SP2 的低轉(zhuǎn)換增益被采樣。7**）** SP2 的復位電平被采樣。** 由于復位采樣是在 SP2 的信號之后進行的，因此 SP2 無法執(zhí)行 CDS。相反，SP2 使用增量復位采樣來抑制噪聲。8***）** SP1 和 SP2 中的所有電荷都被復位。

下一步：在 ArenaView 中使用 LUCID 的 TRI054S IMX490

對于那些尋找如何在 LUCID 的 ArenaView 中使用 TRI054S-CC 的說明的人，

本知識庫文章介紹了 TRI054S-CC 上可用的各種功能和選項，包括 HDR 調(diào)諧、圖像增強、數(shù)字鉗位等。此外，本文還包括有關更改位深度顯示、調(diào)整 LUT 和切換色調(diào)映射伽瑪?shù)恼f明。

結(jié)論

將 Sony 的 IMX490 與 LUCID 的 Triton IP67 相機配對，可提供 120 dB 高動態(tài)范圍成像，非常適合包含場景中非常暗和非常亮區(qū)域的具有挑戰(zhàn)性的應用。IMX490 通過其具有雙通道輸出的子像素技術實現(xiàn)這一點，提供 4 次同時曝光，從而產(chǎn)生清晰、無失真且無運動偽影的圖像。此外，由于同時曝光，與需要較短曝光時間的傳統(tǒng) HDR 相機相比，該相機能夠通過允許更長的曝光時間來減少 LED 閃爍。LUCID 的 Triton 相機具有 24 位 ISP，允許用戶訪問和微調(diào) IMX490 傳感器提供的所有功能。由于相機的 IP67 Factory Tough? 設計，Triton 5.4MP 相機非常適合戶外應用，例如高級駕駛輔助系統(tǒng) （ADAS） 或自動駕駛，以及工業(yè)應用，例如實時焊接檢查。
*附件:IMX490-ABLG-W_technical_datasheet_E_Rev.0.1.0.pdf

審核編輯 黃宇