3D視覺系統的“最強大腦”

圖像信號處理器（Image Signal Processor，以下簡稱ISP），是一種專用數字集成電路，對從CMOS圖像傳感器中輸出的圖像數據進行處理，得到經過復原、增強后的數字圖像，使其更加接近現實中人眼所看到的圖像。

ISP是一款“軟硬皆施”的芯片，需要配合專業算法處理傳感器數據，如線性糾正、噪點去除、壞點修補、顏色插值、白平衡校正、曝光校正等。通常，圖像數據從前端感知后，均須經過ASP（Analog Signal Processing）、ADC（Analog-Digital Converter）、前期影像處理（Pre-ISP）與后端影像處理（Post-ISP）四個階段后，“完美”的圖像才能最終呈現于終端設備上。

成像框圖

對于3D視覺系統來講，如果說圖像傳感器好比“眼睛”，那么ISP則是它的“大腦”。ISP主要作用如下：

1．拜耳轉換

圖像傳感器中的光電二極管本質上是“色盲”，它們只能記錄不同的灰度信息。之所以能呈現出彩色圖片，那是因為不同的紅、綠、藍三種顏色濾鏡——拜耳濾鏡將灰度信息轉換成彩色信息。由于每個光電二極管只記錄圖像的一個像素的顏色信息，像素點只可能有三種顏色：紅、綠、藍，或者什么也沒有（黑）。不同顏色的濾光點的排列是有規律的：每個綠點的四周，分布著2個紅點、2個藍點、4個綠點。這意味著，整體上，綠點的數量是其他兩種顏色點的兩倍。這是因為研究顯示人眼對綠色最敏感，所以濾光層的綠點最多。然而，拜耳轉換過程相當復雜，涉及到許多不同的操作。成像質量在很大程度上取決于對圖像傳感器輸出原始數據處理的算法優劣。

拜耳陣列

2．去馬賽克

如上所述，圖像處理器對顏色和亮度的賦予像素數據，比較它們與相鄰像素的數據，然后采用插值算法計算出這個像素的顏色和亮度值。ISP對整個圖片評估，猜測對比度的正確分布。通過調整伽瑪值（提高或降低圖像的中間色調的對比度范圍）進行色彩微調，如人體的皮膚和藍色的天空，使整個畫面與現實更為接近。

3．降噪

噪聲在任何電子線路普遍存在。在數碼攝影中，一幅流暢的彩色畫面出現的明顯突兀的色彩隨機斑點被視為噪聲。噪聲隨著溫度和曝光時間的增加而增多。當選擇較高的ISO設置時，圖像傳感器中的電子信號被放大，同時增加噪聲電平，從而導致較低的信噪比。ISP從圖像信息中分離噪聲并去除它。但面臨的相當大的挑戰是圖像中正常區域可能會被誤認為是噪聲，導致畫面受損。

4．圖像銳化

當每個像素的顏色和亮度值被插值時，圖像平滑會使圖像的邊界、輪廓變得模糊。為了增強圖像的灰度跳變，保持清晰度和細節完整性，圖像處理器必須銳化邊緣和輪廓。因此，它必須正確檢測邊緣，并順利地復制它們，而不過分銳化。

難以跨越的技術鴻溝

ISP技術壁壘高，要求專業算法層面的深層配合，兩者相輔相成，互為補充。ISP雖然可以對樣張的質量進行后期處理，但不同的芯片或者使用同一款芯片的不同產品在拍攝性能方面也存在明顯的差異，這是因為ISP不僅僅有處理能力，還具有可編程性，經過不同方式調試后的新算法會和集成原廠算法拉開差距。

市面上絕大多數手機都集成了ISP芯片，部分產品則采用了獨立的ISP芯片，除了富士通為不少知名機型提供了獨立ISP之外，像蘋果這樣的廠商都是自己定制專屬于iPhone的ISP。高通驍龍820集成了Spectra ISP、聯發科的Helio P25內置12位雙ISP支持，都融合了自家最前沿的ISP。但研發難度相當大，財力消耗大，只有智能手機巨頭才有能力建立自己的ISP和專業的算法團隊。而國內的華為也投入9800萬美金組建頂尖的專業團隊，自主開發并由海思半導體制造Hi3516首次搭載在華為Mate 8，開啟宣告國產手機突出重圍。

高通的Spectra ISP擁有雙ISP

iPhone專屬定制的ISP

就芯片集成方式而言，將圖像傳感器和ISP通過封裝集成于一顆模組可以有效降低成本，而業界領頭羊索尼已經將圖像傳感器和ISP直接集成于一顆芯片。2017年，索尼推出的CMOS圖像傳感器IMX400采用三層堆疊式結構：頂層為CIS，中間層為DRAM，底層則是ISP。全新的三層芯片能夠在1/120秒內讀取1930萬像素圖片，是IMX318芯片的4倍。這減少了讀取每個像素行的時間間隔。這對于缺乏機械快門來控制曝光的智能手機尤其重要。

索尼CMOS圖像傳感器芯片IMX400的三層堆疊結構

目前全球范圍內主要被歐洲和日本巨頭所壟斷，如意法半導體、德州儀器、英飛凌、恩智浦、安霸、索尼、東芝、富士通等。而在國內，北京君正、全志科技和瑞芯微借助前幾年平板電腦的爆發期也獲得快速成長，此外還有一些新興的創業型公司，如興芯微。

應用：始于工業，盛于消費電子，走向人工智能

ISP的應用領域涉及消費電子、工業、安防、汽車、無人機、機器人等。其中，智能手機是目前ISP的主要應用領域。近幾年智能手機廠商都在打攝像頭的牌，通過不斷改善拍照質量來吸引消費者的眼球。但是，沒有ISP與圖像傳感器、鏡頭等硬件的高度協同，不論是前置還是后置的雙攝像頭都僅僅是攝像頭性能參數的堆砌和噱頭。

當前，人工智能已經延伸至ISP領域。這點蘋果應當是布局已久，陸續收購了四家機器學習公司，而機器學習正是人工智能的核心所在。iPhone 7 使用的新款ISP處理能力比之前版本了提高一倍，它可以通過特定的算法獲取拍攝對象的更多信息，并據此對成像進行深度處理。在人工智能的驅動下，通過機器學習技術檢測到目標、設置曝光、焦距和白平衡。蘋果營銷總監Phil Schiller表示，這種通過人工智能驅動的ISP能夠在25毫秒中進行最多1000億次的操作，比原先快了60%。谷歌和微軟也在不斷渲染自己在人工智能上的技術儲備，三大IT巨頭相繼發力，可以預見，人工智能扮演的角色將越來越重要，相信更加智能的ISP已經在路上。
? ? ? ?責任編輯:pj