導讀

車載多相機采集系統是智能駕駛技術實際應用中的“眼睛”，友思特車載圖像采集和回放系統切實提升了系統的實時同步采集與回放能力，為ADAS等應用的決策系統提供了可靠的核心數據。

視頻流同步采集與智駕技術發展

在現代汽車行業中，智能駕駛技術正以驚人的速度發展，引領著交通領域的革新。這一技術的崛起，不僅改變了傳統駕駛方式，更在安全性、舒適性和效率方面帶來了前所未有的提升。作為智能駕駛技術的核心組成部分，車載多相機系統發揮著舉足輕重的作用。它們通過高精度、高速度的圖像捕捉與處理，為車輛提供了全方位、無死角的視覺感知能力，從而極大地增強了駕駛過程中的環境感知和決策準確性。

隨著科技的不斷進步，車載多相機系統也在不斷升級和完善，以適應更為復雜多變的駕駛場景。為了實現高級駕駛輔助系統（ADAS）和自動駕駛的精準功能，車載多相機系統必須確保視頻流的同步采集。車輛上傳感器和相機數量的不斷增多的現狀，對視頻流的實時處理和數據融合技術也提出了更為嚴苛的要求。這種技術的創新，不僅關乎車輛的安全性能，更在自動駕駛的精確感知與決策中發揮著不可或缺的作用。因此，探索先進的同步采集方案，以實現車載多相機系統數據的高效處理，已成為推動智能駕駛技術發展的當務之急。

圖1. 車載多相機數采系統（圖片來源：Solectrix官網 https://solectrix.de/en/）

為了適配智能駕駛技術的數采要求，市場上各色的采集板卡、采集系統和方案層出不窮。首先為了同時采集多路實時視頻數據，采集板卡/系統對通道數量進行了拓展，從傳統的一兩路視頻數據，拓展至4/6/8/16路視頻數據；在異步的場合，基于先前收集的真實環境數據或仿真的自動駕駛數據，板卡/系統需要回放帶有時間戳的視頻數據，用于諸如硬件在環（HiL）測試的場合，同時也對通道數量進行了拓展；在同步的場合，采集數據的同時，需要旁通數據，將同樣的數據鏡像同時分路，用于諸如存儲、處理、顯示等目的，也同樣對通道數量進行了拓展，進一步滿足多樣化的需求。下圖為友思特車載采集卡視頻數據采集回放經典配置：

a.采集模式：同時最多8個視頻流 b. 回放模式：同時最多4個視頻流 c.TAP模式：同時最多4個視頻流輸入和輸出

多路數據滿足多相機實時采集的同時，對硬件性能如帶寬、實時性和數據傳輸協議也提出了高要求。在硬件性能上，息息相關的是最終產品的價格，影響的是產品應用過程中的性能上限；而數據傳輸協議，則是關乎數據傳輸實時性、準確率、實際傳輸速率的核心技術點。友思特 proFRAME 車載采集和回放板卡，應用了SerDes技術，為車載多相機的實時采集和記錄回放提供了一種可行可靠的技術路線。

SerDes原理結構

SerDes核心包括串行器（Serializer）和解串器（Deserializer），是一種用于高速數據傳輸的接口技術。它通過將并行數據流轉換為串行數據流，從而提高數據傳輸速率，并在接收端再將串行數據流轉換回并行數據流。核心工作原理包括兩部分：

串行化：SerDes的發送端（串行器）從本地系統接收并行數據作為輸入，通過FIFO傳遞給內部的編碼器、擾碼器，然后將其轉換為串行數據并將其作為單個數據流，經由均衡器均衡后通過同軸或雙絞線電纜等串行傳輸通道進行傳輸。這種方式能顯著提高數據傳輸效率。串行化數據時，串行器使用參考時鐘的輸入作為編碼過程的一部分，從而最大限度地減少并行傳輸中發現的時序問題類型。

反串行化：SerDes的接收端（解串器）接收串行數據作為輸入，經由均衡器均衡，通過CDR（時鐘恢復）恢復時鐘信號，并將其轉換恢復為對齊的并行數據流輸出，以便進一步處理。

圖3. SerDes原理（圖片來源：維基百科https://en.wikipedia.org/wiki/SerDes）

SerDes技術在現代數據傳輸中發揮了關鍵作用。它通過將高帶寬的并行數據流轉換為串行信號，實現了更高的數據傳輸速率和更長的傳輸距離。此技術有效減少了電路板上的布線復雜性，從而降低了系統成本和功耗，并提升了系統的可靠性。SerDes還支持長距離傳輸，增強了信號的抗干擾能力，使得數據完整性得以保持。通過優化數據傳輸路徑和提高速率，SerDes技術顯著提升了系統性能，廣泛應用于通信、計算機和存儲領域，為高效、穩定的數據傳輸提供了重要保障。

友思特車載圖像采集和回放系統

為了獲取汽車的 360° 全景環視圖像，需要在汽車的前后左右各設置一個或多個相機。以分辨率為3840*2160、幀率為60、輸出圖像數據格式為 RAW10 為例，單路視頻數據傳輸帶寬要求 ≥5 Giga bit/s。

傳輸鏈路①：相機實時獲取的視頻流數據→車載 ADAS/AD ECU：

前端 GMSL/FPD-Link 相機的 CMOS 圖像傳感器捕獲光信號并轉換為電信號，生成原始圖像數據。在相機內部經過處理（如去噪、增益、色彩校正等）后通過相機的串行芯片進行串行化，轉為 CSI-2 標準的數據格式，通過同軸線纜（Coax）傳輸到 proFRAME 板卡，經過相機適配器的解串芯片進行解碼，將串行數據流恢復成并行的 CSI-2 圖像數據格式，傳送至板卡的 FPGA 模塊進行處理。圖像數據經由板卡的 FPGA 模塊，同步分出兩路數據，一路數據傳輸至 ADAS 數采設備存儲記錄，另一路數據重新經過相機適配器的串行化芯片進行串行輸出，通過同軸線纜傳輸到前端的 ECU 設備進行解串，恢復成并行圖像數據，用于可視化或其他調試處理目的。

圖4. 多相機數采系統數據傳輸鏈路

傳輸鏈路②：車載 ADAS/AD ECU 的相機控制信號→相機：

ECU 的相機控制信號指令（如I2C和GPIO），通過同軸線纜傳輸，經由 proFRAME 板卡，多路同時旁通至相機端。I2C 用于設備間的通信，包括配置相機的工作參數（如曝光、增益調整等），GPIO 用于控制相機的行為（如相機的啟停、觸發拍攝等）。板卡也支持通過同軸線纜給相機供電（PoC）。

友思特 proFRAME 板卡的多路圖像數據實時采集和回放功能通過其 TAP 模式實現。TAP（Test Access Point）是一種能夠從傳輸網絡或系統中分離出數據流并用于其他目的的工具，能夠在不干擾主數據流的情況下，提供對數據進行訪問和分析的接口。通過 proFRAME 的 TAP 模式，板卡可以旁通（bypass）多種類型的數據，包括攜帶高精度時間戳的視頻流、相機控制信號指令、外部觸發信號和 PoC 供電等。

圖5.proFRAME旁通ECU的PoC

友思特 proFRAME 板卡提供了3種給相機供電（8V-24V）的方式：

直接主機給板卡供電，板卡通過穩壓器將電壓經由Coax傳輸至前端相機；

外部電源連接板卡的相機適配器，經由相機適配器的Coax傳輸至前端相機；

基于板卡的TAP模式，將ECU提供的PoC旁通至所連接的前端相機。

圖6. proFRAME旁通ECU的觸發信號

車載場合對于多傳感器數據融合以及時間同步的要求非常高，例如要將2D圖像和激光雷達的點云圖像進行融合、實現對點云數據的顏色渲染；或者基于2D圖像識別結果的box框對點云數據進行分割，從而獲取目標的三維位姿 cube。友思特 proFRAME 板卡提供了4種向相機發送同步觸發信號實現相機同步的方式：

板卡內部的FPGA生成時鐘信號傳輸至相機；

外部觸發源通過板卡的外部觸發信號口傳輸至FPGA再轉送至相機；

多proFRAME板卡通過Daisy鏈拓撲結構同步；

ECU發送觸發信號，經由板卡的TAP模式，旁通至相機。

圖7. 友思特proFRAME圖像采集和回放板卡

友思特 proFRAME 板卡采用模塊化設計的方式，通過切換不同的相機適配器模塊，適配包括 GMSL 1/2/3、FPD - Link III/IV、GVIF3、CSI-2 多種傳輸協議的接口相機/視頻流。板卡支持同軸線纜供電和邊帶通信（I2C和GPIO），可同時進行多路視頻數據的采集和回放（多至8路），且采集數據攜帶納秒級別的高精度時間戳，并能夠以時間戳信息精準同步回放視頻流，通過TAP模式旁路各種數據，在ADAS、EoL測試和 AD的硬件在環測試領域都大有建樹。

總結

車載多相機實時同步采集系統在新能源汽車及智能駕駛領域扮演著至關重要的角色。系統通過高精度、高速度的圖像數據采集，為車輛的環境感知、行駛狀態監測以及駕駛輔助提供了強有力的技術支持。

隨著自動駕駛技術的不斷深入發展，車載相機系統的要求也日益嚴苛，不僅需要具備高分辨率、廣視角的成像能力，還必須在各種復雜環境下保持穩定的性能。面對未來智能駕駛的多元化需求，車載多相機實時同步采集系統將持續融合新興技術，如深度學習、計算機視覺等AI技術，以提升系統的智能化水平。同時，不斷優化相機之間的同步性能和圖像處理算法，確保在多變的行車環境中能夠實時、準確地捕捉關鍵信息，為車輛的決策系統提供可靠的數據基礎。

從長遠來看，智能駕駛技術將是未來交通出行的重要發展方向。車載多相機實時同步采集系統作為智能駕駛的“眼睛”，其技術創新和性能提升將直接推動智能駕駛的發展，助力實現更安全、更高效的綠色出行。同時，隨著技術的不斷進步和成本的優化，這一系統有望在未來實現更廣泛的商業應用，為智能交通和綠色出行貢獻重要力量。

了解更多？歡迎訪問官網，探索豐富案例：https://viewsitec.com/proframe-grabber/

審核編輯 黃宇