在讓汽車洞察秋豪——秒懂自動駕駛ISP（一）中，我們了解了什么是ISP、自動駕駛ISP的特殊性以及黑芝麻智能NeuralIQ ISP優勢，本期我們將深入理解打造優質的自動駕駛ISP，需要經過怎樣的圖像質量調試和其背后的技術原理。

ISP 圖像質量調試

ISP圖像質量取決于算法設計和效果調試兩個方面。算法設計負責提供優良“基因”的圖像處理算法功能，通過調試靈活的適配不同特性的攝像頭 (各類鏡頭、CFA、HDR策略)，輸出滿足用戶需求的圖像質量效果。

典型的ISP調試流程如下圖所示：

圖1 ISP調試流程

需求確認：確認調試攝像頭的分辨率、幀率、工作模式、應用方向；

模組檢查：攝像頭硬件品質檢查（模組、sensor、鏡頭）；

參數標定：不同sensor特性差異補償；

客觀調試：通過圖像質量客觀指標的把控保證ISP 基礎調優效果；

主觀調試：針對特定應用方向和客戶需求迭代細調；

自動駕駛ISP調試

近年來，越來越多的攝像頭應用于汽車系統，已經成為現代汽車中不可或缺的一部分。對于自動駕駛的安全性而言，攝像頭輸出的圖像質量至關重要。車載攝像頭以感光成像為理論基礎，實際使用中面臨著復雜使用環境的諸多挑戰：

夏日晴天極亮到夜晚無燈極暗的大尺度場景照明亮度變化范圍；

同一場景下，超過120db 的高動態范圍（HDR）；

各種極端天氣：雨、霧、雪、沙塵；

復雜的光源環境與顏色還原，LED Flicker；

大景深范圍與探測距離；

低速/高速運動場景；

面對如此多的挑戰，結合不同的自動駕駛應用，給車載攝像頭ISP 的調試提出了不同的需求。舉例來說：

高級駕駛輔助系統ADAS：AEC/AWB響應時間、HDR還原、低光信噪比、顏色準確性、運動模糊、高分辨率sensor適配性；

360°全景環視系統SVS：魚眼鏡頭暗角補償、多攝像頭調試效果一致性；

駕駛員監控系統DMS：感光靈敏度與信噪比、圖像清晰度；

電子后視鏡CMS：HDR恢復、監視器顯示圖像質量；

黑芝麻智能圖像質量調試案例

運動模糊 vs 噪聲水平

對于自動駕駛常見的夜晚低光場景，ISP 輸出圖像為了獲取合適的圖像亮度，往往需要將曝光時間增長到最大值，并且提高增益的補償。

運動場景曝光時間的增加會帶來運動模糊問題，增益的設置則會影響到圖像整體的噪聲水平。尤其是大FOV鏡頭成像的邊角區域，一方面邊角透視失真導致運動模糊更加嚴重，另一方面由于鏡頭陰影亮度補償噪聲水平也會更高。如何平衡曝光時間和增益的分配，并調試合適的去噪參數，是處理這類問題的核心考量。

當曝光時間從28ms 變化到20ms時，運動模糊可以得到改善。但是為了保持圖像亮度一致，左圖需要用到更高的sensor 增益，從而導致了更高的噪聲水平。

對于自動駕駛ISP調試而言，需要優先考慮感知算法能容忍的運動模糊像素個數上限。然后依照特定應用的車輛速度、場景距離、焦距、像素尺寸，反推出對應的最大曝光時間；再依照該最大曝光時間的AEC設置，調試不同場景的去噪參數。

左側結果圖通過運用多幀3D去噪，可以進一步的縮短曝光時間，顯著改善運動模糊的同時，盡管單幀圖像的增益高達9倍（為了保持圖像亮度一致），處理結果的SNR也與右側3倍低增益圖像類似，噪聲得到了很好的抑制。

亮度 vs 對比度 vs噪聲水平 vs 圖像細節

低光照或不均勻光源的環境, 對圖像的噪聲/亮度/對比度/細節帶來了極大的挑戰。

圖像對比度作為一種圖像內容增強方法，原理上也會增強圖像噪聲內容。

在ISP調試中，亮度vs對比度 vs 噪聲水平vs圖像細節是一個多模塊耦合調試的典型例子。實際中，需要根據應用需求，通過多場景調試，平衡各樣例最優效果。

黑芝麻智能 NerualIQ ISP 對于圖像亮度vs對比度 vs 噪聲水平vs細節耦合調試的一個示例。場景為路燈光暈影響下, 暗處的表現。左側的結果，圖像亮度太暗，導致無法分辨細節。中間的結果，通過提升圖像亮度，圖像整體輪廓辨別度提升，但是因為對比度不夠，細節內容仍較難分辨，亮度的提升也一定程度帶來了噪聲水平的提升。右側的結果，通過平衡亮度和對比度，然后結合適當的去噪參數調整，圖像整體輪廓和局部細節（穿反光衣服的行人）都得到了較好的圖像質量恢復。

交通燈顏色還原 vs 整體顏色還原

白平衡是ISP調試顏色還原時需要面對的一個經典問題。白平衡問題有兩個起源，一是黑體輻射，二是人眼顏色恒常性。

圖 7 色度圖標注黑體輻射普朗克軌跡

（圖像來源：https://en.wikipedia.org/wiki/Black-body_radiation）

在任何條件下，對任何波長的外來輻射完全吸收而無任何反射的物體定義為黑體。黑體輻射的電磁波的光譜特性只和黑體的溫度有關。如圖7所示，隨著溫度升高，黑體輻射的顏色呈現由紅—橙紅—黃—黃白—白—藍白的漸變過程，黑體的這個溫度稱為該光源的色溫。

常見光源的色溫和光譜曲線如下圖：

圖 8 不同光源光譜曲線

（圖像來源：https://www.image-engineering.de）

例如，白熾燈的光色是暖白色（圖8的A光），其色溫為2700K，而日光色熒光燈的色溫則是5000K左右（圖8的D50光）。

人眼顏色恒常性是指，當照射物體表面的顏色光發生變化時，人們對該物體表面顏色的知覺仍然保持不變的知覺特性。很好的例子是當我們進入一個白熾燈照亮的房間一會兒以后，就不會有光線昏黃的感覺了。

對于以CMOS、CCD 為代表的圖像sensor而言，在不同色溫和光譜的光源照射下，Bayer RGB 三通道的響應比例是不同的。這必然導致如果不經過處理，圖像的顏色響應會出現顯著的不一致，提升了后續感知算法處理的困難。

ISP 中的自動白平衡（AWB）功能即專門針對這個問題設計。一個優良的AWB算法+調試結果，能比較準確的判斷出成像場景的色溫范圍，并根據已經標定好的sensor 光譜特性，轉化為該場景下B和R通道的補償增益值，實現“白色做白”。

以上是理想的情況。對于自動駕駛而言，特別是夜晚場景，通常會包含不止一個光源。如果這些光源的色溫不一致，就會產生典型的混合光場景問題。

如果需要將整體顏色還原為白色，需要加較多的B通道增益，導致綠燈效果偏青，即左圖效果。右圖通過限制B通道增益，綠燈顏色還原效果較好，但整體效果偏暖。

該場景也是一個混合光源場景，隧道內照明燈色溫偏低，顏色偏暖，隧道外陽光直射色溫偏高，顏色偏冷。除此以外，該圖像sensor使用了大小像素LPD-SPD技術，針對HDR場景，長曝光使用大像素采集用于合成暗區（隧道內），短曝光使用小像素采集用于合成高光區（隧道外）。由于大小像素光譜響應不同，進一步加重了隧道內外顏色差異（左圖結果）。針對這個問題，黑芝麻智能 NerualIQ ISP 專門設計了針對大小像素顏色差異補償的處理算法和調試策略，依照預先標定的大小像素感光差異，動態調整小像素的AWB和CCM，使之處理輸出顏色盡量接近大像素。調試結果如右圖所示，通過調試，隧道外異常偏藍色問題得到了較好的改善。

結語

所謂“大廚做菜，眾口難調”。通過以上幾個實際的調試例子，我們可以認識到，從原理來說，ISP調試的一般目的，不應當設定為解決所有的圖像質量問題。而是應該根據不同模組、不同應用、不同客戶的差異化需求，通過差異化參數調整，最大化ISP算法設計的潛能，使輸出圖像質量定制化滿足特定需求。

審核編輯：郭婷