背景

車載攝像頭的發展

視頻攝像頭已經逐漸從最初的汽車后視鏡應用發展到智能傳感器，可以檢測道路上的物體，并通過自動剎車和車道保持等駕駛輔助來提高安全性。最近的ADAS/AD的發展已經使攝像頭成為感知汽車周圍環境不可或缺的工具。雖然激光雷達和雷達在傳感器融合中能夠比較可靠地檢測道路障礙物，在全天候提供最大程度的晝夜信息，但實際上只有視頻攝像機能夠最準確地識別和分類車輛周圍的物體。

傳統的計算機視覺系統依賴灰度視頻來識別形狀，并在一定程度上依賴基本色度，例如交通標志識別，而基于機器學習和深度神經網絡(DNNs)的現代視覺系統往往需要色彩來理解世界。顏色決定了一切，使神經網絡更好地模仿人類大腦。

DNNs必須經過訓練，才能在特定的ADAS/AD應用中以最大的可靠性協同工作。訓練過程使用帶有精確標注的數據集在算力強大的服務器上進行。

經過訓練的參數在ECU控制器中的GPU、FPGA或視覺處理器上進行DNNs實現。全彩色視頻需要從指定攝像機位置和來相同視頻傳感器和鏡頭的獲取，以確保DNNs盡可能可靠。然而，收集這些視頻的過程要困難得多。

車載攝像頭不會產生顏色，它們生成的顏色信息編碼為眾多拜耳編碼變體之一。此外，常用的高動態范圍(HDR)相機以不同的曝光方式生成兩到三幀，組合在一個幀中，可以顯示被陽光直射的物體和被放置在極端陰影中的物體。

ISP管道問題 ?

生成高對比度的彩色視頻需要通過一個稱為HDR圖像信號處理(ISP)的專用硬件進行處理。HDR ISP管道通常由同一Soc芯片中的DNNs實現，這使得在DNNs輸入處處理的彩色視頻很難用于芯片外的標注和機器學習。這一問題可以通過對處理后的彩色視頻進行數據記錄來解決。由于ISP管道對數據執行大量像素操作，這種處理需要硬件升級到標準數據記錄儀級別。

Xylon的logiRECORDER汽車HIL視頻記錄器是一種完美的解決方案。它以可編程FPGA為基礎，實現了芯片級的HDR ISP集成。這確保了經過處理的視頻的完整性，并通過其他車輛傳感器的數據并行記錄來提供完整的傳感器融合支持。

Xylon在設計可編程芯片方面有超過25年的經驗，它的logicBRICKS庫包括用于可編程FPGA和SoC芯片中的ISP處理的IP核。它使Xylon能夠直接在數據記錄儀的視頻I/O模塊中實現HDR ISP，動態地處理原始視頻并記錄彩色視頻。

Xylon ISP處理的視頻與ECU soc ISP處理的視頻之間的差異是非常小的。Xylon與客戶合作，針對特定的攝像機進行ISP調優，并通過DNNs訓練實現最佳的視頻質量。

除了數據記錄，logiRECORDER獨特的HIL回放功能可以將記錄數據直接注入連接的ECU。可編程的HDR ISP塊集成在logiRECORDER的視頻輸出，相當于真實的相機仿真。而不是簡單地回放記錄的數據，logiRECORDER的HDR ISP塊修改視頻以響應ECU的命令。這種閉環HIL與ECU運行的固件大大提高了最終產品的質量保證。

所提出的解決方案已經與幾個Xylon客戶建立了原型，計劃于2022年第三季度推出可量產的解決方案。