引言

　　當(dāng)人們考慮有兩個(gè)圖像傳感器的應(yīng)用時(shí)，首先很可能想到的是一個(gè)三維攝相機(jī)。不過，也有許多設(shè)計(jì)可以通過使用來自兩個(gè)圖像傳感器的數(shù)據(jù)進(jìn)行改善;一個(gè)例子是汽車司機(jī)錄像機(jī)(CDR)的黑盒子，這通常是安裝在后視鏡附近，擁有兩個(gè)攝像機(jī)(圖 1)。一個(gè)攝像機(jī)朝向擋風(fēng)玻璃，而另一個(gè)攝像機(jī)指向司機(jī)。在本地的存儲(chǔ)器芯片中存儲(chǔ)攝像機(jī)的視頻，如果有意外事故或疑問，可以進(jìn)行檢索。

　　兩個(gè)攝像機(jī)和其數(shù)據(jù)的其他應(yīng)用包括對(duì)監(jiān)視的精確分析，在車中對(duì)行人的檢測。在這些設(shè)計(jì)中，這兩個(gè)相機(jī)的輸出被用來創(chuàng)建一個(gè)包括深度感知的算法。有了這些數(shù)據(jù)，處理器可以非常精確地“看到”圖像和從陰影或其他物體中辨別出人。

　　所有這些設(shè)計(jì)都要求有一個(gè)圖像信號(hào)處理器(ISP)。然而，一個(gè) ISP 支持兩個(gè)傳感器并不簡單。雖然大多數(shù) ISP 可以支持兩個(gè)圖像傳感器的吞吐量，絕大多數(shù) ISP 器件已經(jīng)設(shè)計(jì)成只與一個(gè)傳感器接口。即使有兩個(gè)端口的 ISP 往往不能組合在一起，同時(shí)處理兩個(gè)圖像，或者，如果他們能做到，往往是非常昂貴的。

　　除了這個(gè) ISP 接口被限制為只處理一個(gè)圖像傳感器之外，更高分辨率的圖像傳感器構(gòu)成了另一個(gè)設(shè)計(jì)挑戰(zhàn)。從歷史上看，通過統(tǒng)一的 CMOS 并行總線(圖 2)，所有高達(dá)720p30 分辨率的圖像傳感器都被連接到 ISP。

　　對(duì)于 720p60 和更高的分辨率，圖像傳感器無法通過 CMOS 并行總線進(jìn)行高質(zhì)量的傳輸。因?yàn)椴⑿锌偩€速度必須高于 70MHz，開關(guān)噪聲導(dǎo)致圖像傳感器的質(zhì)量下降。為了解決這個(gè)問題，圖像傳感器供應(yīng)商引入串行而非并行總線來傳輸數(shù)據(jù)。然而，由于許多 ISP器件只設(shè)計(jì)成采用并行總線，需要將新的傳感器的串行總線轉(zhuǎn)換到這個(gè)并行總線(圖3)。

　　最后，對(duì)于需要 3D 算法的應(yīng)用，這兩個(gè)圖像傳感器必須同步工作。這不容易做到，因?yàn)槊總€(gè)傳感器的制造商都有自己的方法和格式。例如，一些圖像傳感器使用 I / O 引腳來進(jìn)行觸發(fā)，而其他制造商則使用 I2C，SPI 或兩者兼而有之。幾乎所有的 ISP 都面臨著設(shè)計(jì)挑戰(zhàn)，以支持多種模式，從而確保各種傳感器是同步的。

　　一些 ISP 廠商都試圖來解決這個(gè)問題，通過提供兩個(gè)獨(dú)立的接口和兩個(gè)處理引擎來支持兩個(gè)圖像傳感器。但是，結(jié)果是構(gòu)成了一個(gè)非常昂貴的 ISP 器件，不僅圖像處理能力遠(yuǎn)遠(yuǎn)超過實(shí)際的需求，而且對(duì)軟件開發(fā)人員而言，配置和編程更加復(fù)雜。

　　如果一個(gè)設(shè)計(jì)正確地支持格式化兩個(gè)傳感器，使它們同步，在數(shù)據(jù)發(fā)送到 ISP 之前以正確的格式將數(shù)據(jù)合并，所有這些雙圖像傳感器的挑戰(zhàn)都是可以克服的。如前所述，目前許多 ISP 可以處理兩個(gè)傳感器的吞吐量。關(guān)鍵問題是同步接受圖像，用正確的格式，以及送至正確的總線。最具成本效益的設(shè)計(jì)解決方案是使用一個(gè)小的 FPGA 和幀緩沖存儲(chǔ)器。

　　圖 4 展示了一個(gè)具有成本效益的解決方案，同步，合并和輸出正確的格式到 ISP。通過利用低成本 FPGA，如萊迪思的 MachXO2 和一種廉價(jià)的 LP SDRAM 器件，兩個(gè)圖像傳感器可以橋接到一個(gè) ISP。 FPGA 設(shè)計(jì)需要包含以下功能：首先，它必須從 ISP 接口接口至 I2C 或 SPI 寄存器配置。對(duì)于這兩個(gè)傳感器，此配置設(shè)置是相同的。 FPGA 則需要發(fā)送串行配置數(shù)據(jù)(I2C 或 SPI)到兩個(gè)傳感器，并確保它們被正確地配置。在這一點(diǎn)上，兩個(gè)傳感器將有相同的配置，但他們?nèi)匀恍枰健?duì)每一個(gè)特定的傳感器制造，MachXO2 FPGA 的靈活性能夠?qū)嵤┍匦璧莫?dú)特控制。為了確保驅(qū)動(dòng)每個(gè)傳感器的時(shí)鐘完全一樣，F(xiàn)PGA 還將輸出時(shí)鐘到兩個(gè)傳感器。一旦兩個(gè)傳感器被設(shè)置和同步，這兩個(gè)傳感器便開始傳輸圖像數(shù)據(jù)。

　　然后 FPGA 將需要在 I / O 單元和邏輯結(jié)構(gòu)中解串化的高速串行圖像數(shù)據(jù)，因此它可以轉(zhuǎn)換這個(gè)傳感器的數(shù)據(jù)流為并行格式。然后 MachXO2 FPGA 尋找適當(dāng)?shù)目刂谱址詫?duì)于每個(gè)傳感器，它能夠識(shí)別幀的起始和行的起始。這通常是通過尋找控制字符或命令序列來完成的。一旦檢測到傳感器的圖像數(shù)據(jù)，F(xiàn)PGA 可以提取原始圖像數(shù)據(jù)，并開始使用低功耗 SDRAM 存儲(chǔ)器來存儲(chǔ)幀。當(dāng)然，在 FPGA 中需要一個(gè) LP SDRAM 存儲(chǔ)器控制器，用來正確的讀和寫圖像數(shù)據(jù)。 FPGA 執(zhí)行的下一個(gè)功能是整理這個(gè)幀格式到所需的輸出格式。例如，一個(gè)流行的格式是自上而下的配置，另一個(gè)是并排的配置(圖 5)。

　　在傳送集成的傳感器數(shù)據(jù)之前，F(xiàn)PGA 中的傳感器數(shù)據(jù)要轉(zhuǎn)換成 Bayer 模式圖像格式。這將確保正確的 RGB 顏色傳遞到 ISP。有了已知的正確圖像和輸出格式配置，然后MachXO2 FPGA 用并行總線輸出格式化的數(shù)據(jù)到 ISP。外部 LP SDRAM 用于緩沖傳入的幀，由于前一幀已被送出。通常情況下，LP SDRAM 運(yùn)行兩倍快的輸出時(shí)鐘到 ISP。

　　為了確保 ISP 的讀取和識(shí)別數(shù)據(jù)，F(xiàn)PGA 輸出被設(shè)計(jì)成模仿并行圖像傳感器的輸出。也就是說，F(xiàn)PGA 產(chǎn)生時(shí)鐘、幀有效、行有效，通常以一個(gè) 12 位數(shù)據(jù)總線送至 ISP。萊迪思半導(dǎo)體公司和 Aptina 已經(jīng)實(shí)現(xiàn)了這個(gè)設(shè)計(jì)。通過使用萊迪思 MachXO 和兩個(gè) Aptina 的 9MT024 圖像傳感器，這個(gè)設(shè)計(jì)是一個(gè)非常符合成本效益的解決方案，幾乎所有的 ISP 都可以接受。配置傳感器的所有主要功能，對(duì)它們進(jìn)行同步，然后實(shí)施合適地格式化輸出圖像數(shù)據(jù)。