淺談?計算機(jī)視覺傳感器&系統(tǒng)

作者：Mehdi Amine

從硬件到實(shí)現(xiàn)計算機(jī)視覺的系統(tǒng)，本文的概述側(cè)重于廣度而非深度。為了平衡這種方法，本文引導(dǎo)讀者閱讀具有指導(dǎo)性的參考文獻(xiàn)，并提供了隨時可以運(yùn)行的源代碼。我們從圖像形成的機(jī)制開始。我們涵蓋針孔、透鏡、傳感器(CCD和CMOS)、Bayer濾波器和顏色重建。

然后，我們轉(zhuǎn)到計算機(jī)視覺的應(yīng)用上來，檢測圖像中的車道線。該方法是基于一套常用的計算機(jī)視覺算法。

成像歷史簡介

拍照就是把3D場景投影到2D平面上。暗箱通過一個針孔實(shí)現(xiàn)了這種投影。墻上的一個小針孔讓光線穿透了黑暗的照相機(jī)室。這個簡單的機(jī)制產(chǎn)生了尖銳的投影，使藝術(shù)家能夠在場景的細(xì)節(jié)上畫出草圖。但是這種方法缺乏亮度，針孔本身不能收集足夠的光。

柯歇(Athanasius Kircher) 1645年的著作《大路西與陰影》(Ars Magna Lucis Et Umbrae)中“便攜式”暗箱的雕刻

針孔相機(jī)即使在今天也吸引了廣泛的興趣，它們能夠捕捉到令人驚嘆的圖像，其特點(diǎn)是在任何地方都能使用。缺點(diǎn)還是一樣，圖像很暗，需要很長的曝光時間。

用針孔相機(jī)拍攝的鄧盧斯城堡的日落，曝光時間20分鐘，伊萬·麥格雷戈

為了解決光線暗淡的問題，引入了透鏡。通過在光圈前放置透鏡，可以聚集更多的光。透鏡還可以修改投影圖像的放大倍率。在過去，放大需要藝術(shù)家移動整個相機(jī)。如今，在不改變場景和像面之間的距離的情況下，可以通過移動鏡頭的位置來調(diào)節(jié)放大效果。變焦是移動鏡頭來改變放大倍率的過程。

即使有了鏡頭，捕捉圖像也需要很長時間依靠藝術(shù)家在投影圖像上作畫。19世紀(jì)30年代，路易斯·達(dá)蓋爾(Louis Daguerre)發(fā)明了膠片，這是攝影史上最重要的發(fā)明之一。這是第一次有可能在物理層上記錄光，不需要依靠藝術(shù)家，只需要按下一個按鈕，就能記住一個時刻。

膠片上涂上鹵化銀。一旦暴露在光線下，鹵化銀就會轉(zhuǎn)化為金屬銀。轉(zhuǎn)換量取決于膠片上任何特定點(diǎn)的曝光量。為了產(chǎn)生圖像，膠片隨后要經(jīng)過化學(xué)顯影處理。

黑白底片處理

硅成像探測器的發(fā)明甚至比膠片的影響更大。同樣的芯片可以用來捕捉無限多的圖片，而不再需要化學(xué)照相顯影。它是數(shù)碼相機(jī)所使用的技術(shù)，也是我們大多數(shù)人今天隨身攜帶的手機(jī)。

圖像傳感器

概括地說，拍照就是將3D場景投影到2D平面上。投影是通過光圈來實(shí)現(xiàn)的，通過透鏡來收集更多的光線并調(diào)節(jié)放大倍率。2D平面最初是一個簡單的平面，藝術(shù)家可以在上面作畫。后來它變成了鹵化銀薄膜的表面。最后是硅芯片的表面:圖像傳感器。

為了將接收到的光轉(zhuǎn)換成數(shù)字圖像，大多數(shù)圖像傳感器依賴于硅原子的特性。當(dāng)一個具有足夠能量的光子撞擊硅原子時，它會釋放出電子。在硅晶格(一個像素)上，光子通量暴露產(chǎn)生電子通量。然后電子通量被轉(zhuǎn)換成電壓。

電荷耦合裝置 CCD

在這種類型的圖像傳感器中，光子到電子的轉(zhuǎn)換發(fā)生在每個像素中。在每個像素下都有一個電容儲存釋放的電子。一個叫做“垂直CCD移位寄存器”的電路連接每列像素的電容。這個電路可以使電子從一個像素垂直轉(zhuǎn)移到它正下方的像素上，直到它們到達(dá)最后一行。最后一行由水平CCD移位寄存器連接，該寄存器將電子送到模數(shù)轉(zhuǎn)換器中。

CCD中電子的垂直傳遞采用bucket-brigade法完成。這意味著每一行在獲取其前面一行的電子之前，先將其電子傳遞給下一行。水平轉(zhuǎn)移保持行順序，當(dāng)它們水平移動到ADC時，它們被轉(zhuǎn)換為與它們的電子電荷成比例的電壓。

互補(bǔ)金屬氧化物半導(dǎo)體 CMOS

CMOS以不同的方式實(shí)現(xiàn)圖像傳感器。它不是將電子從像素轉(zhuǎn)移到ADC，而是集成了像素級的電壓轉(zhuǎn)換。

使用CMOS可以單獨(dú)尋址每個像素以讀取其電壓。這提供了更多的靈活性，因?yàn)樗梢约涌焯囟ㄅd趣區(qū)域的閱讀速度。這種靈活性是以更小的光敏區(qū)域?yàn)榇鷥r的，因?yàn)樵谙袼丶壖闪烁嗟慕M件。為了彌補(bǔ)感光區(qū)域的減少，微透鏡被直接放置在每個像素的上方。這些微透鏡將光線聚焦在光敏探測器上。

像素結(jié)構(gòu)

獲取顏色

像素本身能夠捕捉光的強(qiáng)度，但不能捕捉光的波長。為了捕捉顏色(波長)，最流行的方法是疊加一個拜耳濾光片陣列。在這種方法中，每個像素都被一個紅色、綠色或藍(lán)色的濾光片覆蓋。

圖像傳感器的像素陣列上的彩色濾光片的拜耳排列。每個2乘2單元格包含兩個綠色，一個藍(lán)色和一個紅色的濾光片。

人類對幾乎所有顏色的感覺都可以通過3種波長產(chǎn)生。捕捉紅色、綠色和藍(lán)色的波長就足以重現(xiàn)拍攝到的場景的實(shí)際顏色。但就其本身而言，拜耳模式的疊加是不夠的。它產(chǎn)生的圖像看起來像左邊的:

左邊圖像的像素要么是紅色，要么是綠色，要么是藍(lán)色。注意，圖像看起來大部分是綠色的。拜耳模式模擬了人類視網(wǎng)膜在白天對綠光最敏感的事實(shí)。因此濾鏡是一半綠色，四分之一紅色，四分之一藍(lán)色。

為了將左邊的圖像轉(zhuǎn)換為右邊的圖像，我們?nèi)∶總€像素的值，并將其與相鄰像素的值結(jié)合起來。這個過程被稱為插值。假設(shè)我們從左邊的圖片中取一個藍(lán)色的像素。插值是將藍(lán)色值與相鄰像素的紅色和綠色值混合在一起。

計算機(jī)視覺

圖像傳感器的應(yīng)用已經(jīng)成為我們生活中的基本組成部分。它們塑造了我們表達(dá)自我和交流的方式，它們開辟了科學(xué)和藝術(shù)的跨學(xué)科領(lǐng)域。也許這些領(lǐng)域中最先進(jìn)的是計算機(jī)視覺。

研究計算機(jī)視覺必須從欣賞使之成為可能的硬件開始。我們已經(jīng)簡要地了解了硬件的歷史、進(jìn)展和主要組件。讓我們來看一個使用它的令人興奮的實(shí)際應(yīng)用。

自動駕駛中的車道線檢測

從2021年5月開始，特斯拉開始交付不再安裝雷達(dá)的Model 3和Model Y。這些車型依賴基于攝像頭的自動駕駛系統(tǒng)，以相同的安全評級提供相同的功能。

特斯拉Vision的主動安全功能之一是車道偏離警告/避免。能夠探測道路車道在駕駛中是至關(guān)重要的。我們將研究車道檢測，并以兩種不同的方式實(shí)現(xiàn)它。首先使用計算機(jī)視覺算法，其次使用空間卷積神經(jīng)網(wǎng)絡(luò)。

![image-20220825133010031](D: onghuaiyangwechat202208Computer Vision Sensors & Systems.assetsimage-20220825133010031.png)

第一步是檢測圖像中最顯著的邊緣。與其相鄰像素亮度對比較大的區(qū)域被標(biāo)記為邊緣。下面的代碼將圖像轉(zhuǎn)換為灰度，用高斯濾波器進(jìn)行模糊以減少噪聲，并應(yīng)用算法Canny邊緣檢測。

def?canny(image):
??gray?=?cv2.cvtColor(image,?cv2.COLOR_RGB2GRAY)
??blur?=?cv2.GaussianBlur(gray,?(5,?5),?0)
??canny?=?cv2.Canny(blur,?10,?30)
??return?canny

Canny Edge Detection

![image-20220825133055971](D: onghuaiyangwechat202208Computer Vision Sensors & Systems.assetsimage-20220825133055971.png)

經(jīng)過Canny邊緣檢測后得到的圖像

這些圖像充滿了我們不需要的信息。我們想專注于前方的道路，所以我們將定義一個多邊形區(qū)域，以裁剪每個圖像。定義多邊形的點(diǎn)對這兩幅圖像來說是不同的。為了找到它們，我們可以繪制圖像并顯示寬度和高度軸。

def?region_of_interest(image):
????height?=?image.shape[0]
????width?=?image.shape[1]
????polygons?=?np.array([[(10,height),?(width,height),?(width,1100),?(630,?670),?(10,?1070)]])
????mask?=?np.zeros_like(image)
????cv2.fillPoly(mask,?polygons,?255)
????masked_image?=?cv2.bitwise_and(image,?mask)
????return?masked_image