來源：機器之瞳

概述

典型圖像傳感器的核心是CCD單元（Charge-coupled Device，電荷耦合器件）或標準CMOS單元（Complementary Meta-oxide Semiconductor，互補金屬氧化物半導體）。CCD和CMOS傳感器具有類似的特性，它們被廣泛應用于商業攝像機上。不過，現代多數傳感器均使用CMOS單元，這主要是出于制造方面的考慮。傳感器和光學器件常常整合在一起用于制造晶片級攝像機，這種攝像機被用在類似于生物學或顯微鏡學等領域，整合了光學器件和顏色過濾器的圖像傳感器的常用排列如下圖所示。圖像傳感器是為滿足不同應用的特殊目標而設計的，它提供了不同級別的靈敏度和質量。

感光材料

硅制圖像傳感器應用最廣，當然也會使用其他材料，比如在工業和軍事應用中會用鎵（Ga）來覆蓋比硅更長的紅外波長。不同的攝像機，其圖像傳感器的分辨率會有所不同。從單像素光電晶體管攝像機，到普通攝像機上的二維長方形陣列，都有可能用到。普通成像傳感器采用CCD、CMOS、BSI和Foveon方法進行制造。硅制圖像傳感器具有一個非線性的光譜響應曲線，這會很好地感知光譜的近紅外部分，但對藍色、紫色和近紫外部分就感知的不好，幾種硅光電二極管的典型光譜響應如下圖所示

可以注意到，光電二極管在900納米附近的近紅外范圍內具有高的敏感度，而在橫跨400～700nm的可見光范圍內具有非線性的敏感度。由于標準的硅響應的緣故，從攝像機中去掉IR濾光片可以增加近紅外的靈敏度。當讀入原始數據，并將該數據離散化成數字像素時，會導致硅光譜響應。傳感器制造商在這個區域做了設計補償。所以，根據應用標定攝像機系統并設計傳感器處理方法時，應該考慮傳感器的顏色響應。

光電二極管

圖像傳感器的關鍵在于光電二極管的大小。使用小光電二極管的傳感器元件所捕獲的光子數量沒有使用大的光電二極管多。如果光電二極管尺寸小于可捕獲的可見光波長（如長度為400納米的藍光），那么為了校正圖像顏色，在傳感器設計中必須克服各種問題。傳感器廠商花費大量精力來設計優化元件大小，以確保所有的顏色能同等成像，基本顏色的波長分配如下圖所示。

注意，基本顏色區域相互重疊，對所有的顏色而言，綠色是一個很好的單色替代品

結構

下圖顯示了多光譜傳感器的不同結構設計，包括堆疊（Foveo，左圖）和馬賽克（右圖）方法。在馬賽克方法中，不同的濾波器（濾光片）被裝在每個光電二極管上。堆疊方法依賴于不同顏色（波長）滲透到半導體材料的深度，從而對各自的顏色進行成像，每個光電二極管可適用于所有顏色。

反向照明（Back-side Illuminated，BSI）傳感器結構具有更大的感光區域，使每個元件光電二極管能夠聚集更多的光子，因而在晶粒上重新布置了傳感器接線。

傳感器濾波器的布置也影響到顏色響應。例如，下圖顯示了基本顏色（R、G、B）傳感器以及白色傳感器的不同排列，其中白色傳感器（W）有一個非彩色的濾波器。傳感器的濾波器排列考慮到了一定范圍的像素處理，如在傳感器對一個像素信息的處理過程中，會組合在鄰近元件的不同配置中所選取的像素，這些像素信息會優化顏色響應或空間顏色分辨率。

動態范圍

圖像傳感器的每個顏色單元能一般能夠提供至少8個比特位，通常是12～14個比特位。光電二極管需要花費空間和時間來聚集光子，所以較小的光電二極管必須經過精心設計，以避免產生一些問題

噪聲

噪聲可能來自于所用的光學元件、顏色濾波器、光電二極管、增益和A/D轉換器、后期處理過程或者壓縮方法等。傳感器的讀出噪聲也會影響到實際的分辨率，因為每個像素單元從傳感器中讀出再傳到A/D轉換器中，從而組成數字形式的行和列，以便用于像素轉換。越好的傳感器會產生越少的噪聲，同時會得到更高效的比特分辨率。

圖像處理

通常在每個成像系統中都有一個專用的圖像處理器，包括一個快速HW傳感器接口、優化的超長指令集（Very Long Instruction Word，VLIW）、單指令多數據流（Single Instruction Multiple Data，SIMD）指令以及具有固定功能的硬件模塊，這些功能是為了解決大規模并行像素處理所造成的工作負載。通常，傳感器處理過程透明且自動化，并由成像系統的生產廠商設置，來自傳感器的所有圖像均以同樣的方式處理。也存在用于提供原始數據的其他方式，這些數據允許針對應用來定制傳感器處理過程，就像數字攝影一樣。

去馬賽克

馬賽克的一個主要挑戰之一是像素插值，其作用是將鄰近單元的顏色通道組合成單個像素。在給定傳感器元件排列的幾何形狀以及單元排列的縱橫比的條件下，這是一個重要的問題。一個與之相關的問題是顏色單元的加權問題，如在每個RGB像素中每種顏色應該占多少比例。

因為在馬賽克傳感器中，空間元件分辨率大于最終組合的RGB像素分辨率，某些應用需要原始傳感器數據，以便盡可能利用所有的精度和分辨率，或者有些處理要么需要增強有效的像素分辨率，要么需要更好地實現空間精確的顏色處理和去馬賽克處理。

壞點校正

像LCD顯示器一樣，傳感器也可能會有壞像素。通過在攝像機模塊或驅動程序中提供需要校正的壞像素坐標，供應商可以在工廠校正傳感器，并為已知的缺陷提供一個傳感器缺陷圖。

在某些情況下，自適應的缺陷校正方法會用在傳感器上，以便監控鄰近像素點來發現缺陷，然后校正一定范圍內的缺陷類型，比如單像素缺陷、列或行缺陷以及類似2×2或3×3的塊狀缺陷。為了實時尋找瑕疵，攝像機驅動也可提供自適應的缺陷分析，在攝像機的啟動菜單中可能會提供一個特殊的補償控制。

顏色校正

有必要進行顏色校正以便平衡總的顏色精確度和白平衡。硅傳感器上對紅色和綠色這兩種顏色通常很敏感，但是對藍色卻不敏感，因此，理解和標定傳感器是得到最精確顏色的基本工作。

陰影校正

大多數圖像傳感器的處理器包含了用于光暈校正的幾何處理器，這在圖像的邊緣表現為光照更暗。校正基于幾何扭曲函數，可考慮可編程的光照功能來增加朝向邊緣的光照，這需要在出廠前進行標定，以便與光學的光暈模式相匹配。

畸變校正

鏡頭可能會有幾何相差或朝邊緣發生扭曲，產生徑向失真的圖像。為了解決鏡頭畸變，大多數成像系統具有專用的傳感器處理器，它有一個硬件加速的數字扭曲元件，類似于GPU上的紋理采樣器。在工廠就會針對光學器件的幾何校正進行校準并編程

審核編輯：湯梓紅