電子發燒友網報道（文/梁浩斌）在智能手機上，圖像傳感器的像素、色深越來越高，支持拍攝的視頻分辨率、幀數越來越大，都需要更強大的ISP進行支撐。比如相機取景框的延遲、拍攝照片后的等待時間，都關系到ISP的性能。

不止于手機，實際上幾乎任何需要用到圖像傳感器的場景都需要ISP對傳感器獲取到的信息進行處理。在智能駕駛領域，攝像頭作為核心的傳感器之一，也需要ISP對數據進行處理，再將攝像頭數據提供給智駕的AI算力芯片等進行計算。智能駕駛技術快速發展的過程中，也對ISP性能有了新的需求。

智能駕駛的ISP需求

在智能駕駛應用中，相比消費或安防等應用最大的區別就是低延時的硬性要求。在一些低端智能手機上，或是一些家庭安防攝像頭，我們往往可以看到畫面與實際環境是有肉眼可見的延遲。

但如果在智能駕駛上，攝像頭數據有1秒的延遲，那么從攝像頭再到智駕芯片作出決策，車輛可能已經行駛超過30米，而智駕系統作出的決策實際是應對30米前的狀況，這對行駛安全來說會是重大的隱患。

所以，為了保障智駕系統對路面環境的快速響應和及時反饋，ISP處理圖像數據的延遲需要盡可能小，給后端感知算法和算力芯片留有足夠的處理時間冗余。

除了延遲之外，ISP還負責對圖像傳感器的數據進行各種優化處理，汽車行駛環境復雜多變，與手機、安防等領域相比，汽車領域對圖像質量低照度、動態范圍和功能安全等多種要求都要更高。比如在進出隧道、地庫等場景，明暗變化極大，需要圖像傳感器具備極高的動態范圍以及ISP具備24bit甚至更高位寬的RAW數據處理能力。

智駕系統還對色彩還原和細節渲染有較高要求，比如識別紅綠燈、識別道路標志、地面畫線等，這些路面信息的顏色，在特殊的光照條件下，色彩的變化會給感知算法識別帶來困難，需要ISP準確還原顏色，避免算法誤判。

不過智能駕駛用到的ISP首要目標不是滿足人眼的視覺感受，而是注重機器視覺的需求。輝羲智能曾表示，目前在智能駕駛用到的AI網絡本身具備一定的魯棒性，對于ISP的處理能力改進可能沒有迫切需求。所以對于智能駕駛來說，會更加看重ISP的低延遲和信號保真兩個方面。

信號保真的目的是保證感知算法能夠獲得與現實情況盡可能接近的信息，就像前面提到的色彩還原、高動態范圍等。

黑芝麻還提到智能駕駛ISP會面臨的一個問題，就是不同傳感器的噪聲差異。在實際智駕應用中，前視、側視、后視等攝像頭中，會采用不同的圖像傳感器，比如像素不同、型號不同等差異。而不同的圖像傳感器，在感光靈敏度等存在一定差異，在輸出信息的噪聲形態和強度都各不相同。

感知算法在處理圖像信息時會對輸入圖像的信噪比有一定要求，所以ISP需要對不同傳感器和不同類型噪聲都具備相應的處理能力，使得不同的傳感器輸出的圖像信息在信噪比上能夠符合感知算法的要求。

智駕系統有可能去掉ISP？

ISP出現的目的是對圖像信號進行處理，以讓圖像變得更加還原現實或是讓人覺得更加“好看”，但對于機器視覺來說，是否真的需要經過處理后的圖像，在業界也有一些討論。尤其是ISP的處理需要時間，去掉ISP后甚至還能降低一點延遲。

這里的邏輯是，為了給人眼看到更好的畫面，在ISP處理的過程中很多對機器視覺有用的數據也被處理掉了，如果省略了ISP的處理過程，那么所獲得的信息量會增加。

馬斯克曾表示，在自動駕駛系統中，圖像信號不經ISP處理可以降低13毫秒的延遲，這是因為特斯拉整車有8個自動駕駛攝像頭，每個攝像頭經過ISP處理會產生1.5到1.6毫秒的延遲。

但目前來看，在智駕系統中ISP依然是必須的，包括特斯拉也并沒有完全去掉ISP。有學者認為，現有的圖像傳感器去掉ISP后，會令算法識別造成很多困難，比如沒有了色彩還原等。

至于延遲問題，輝羲智能認為可以借鑒智能手機領域的ISP，比如將圖像切分成tile進行處理，將一幀圖像切成4個tile，最高可以將延遲縮短至二分之一幀。

小結

在智能手機領域，為了讓人眼看到更好看的圖像，ISP經歷了快速的發展。對于智能駕駛而言，ISP雖然也有很大程度的提升空間，但對于應用以及實際算法的需求，還需要行業繼續探索。