來源：半導體行業觀察

傳感器融合，就像一場馬拉松，發令槍一響，人們開始跑步追逐，然后才意識到，似乎還沒有為這場馬拉松進行訓練。

編輯：感知芯視界

全自動駕駛汽車的關鍵，是要將多個傳感器的輸入融合在一起并做出安全可靠的決策，但事實證明，這比最初想象的要困難得多。

目前的問題包括：如何對不同類型的數據進行分區、優先級排序和最終組合，如何構建車輛內的處理架構、以便車輛能夠根據這些不同的數據類型做出決策。

對此，Siemens Digital Industries Software混合物理和虛擬系統、汽車和軍用航空副總裁 David Fritz 提出了三種解決方案：

一種方法是在處理之前，就融合來自多個傳感源的原始數據。雖然這種方法可以降低功耗，但一個傳感器陣列的不良數據可能會污染其他傳感器的良好數據，從而導致不良結果。此外，大量原始數據的傳輸還帶來了帶寬、延遲和系統成本等其他挑戰。

第二種方法是對象融合，其中每個傳感器處理數據并將其特定于傳感器的處理結果表示為對其檢測到的內容的解釋。這具有無縫集成機載傳感器結果的優點。這種方法的挑戰是各傳感器的通用表示和標記，如何在不同的車輛和基礎設施之間共享。

第三種選擇是前兩種方法的混合。在這種方法中，物體可以被傳感器檢測到，但不會被分類。在這種情況下，物體的點云被傳輸到機載中央計算系統，該系統對來自內部和外部不同傳感器的點云進行分類（標記）。可以降低帶寬和延遲要求，降低了傳感器的成本和負載，并允許車輛解釋或分類。

當然，整個汽車生態系統中的討論才剛剛開始，還有很多挑戰需要克服。

Arteris IP業務開發副總裁 Frank Schirrmeister 表示，“你需要弄清楚你擁有哪些對象，以及何時使用它們，” “所有的格式都非常不同。如果您正在研究激光雷達，就會發現一些有趣的帶有距離的地圖。即使在關聯和融合所有這些內容之前，也需要以某種方式理解這些格式。從架構的角度來看，這可能導致最需要在傳感器處或靠近傳感器處進行處理。然后，在不同位之間完成對象關聯。但你需要弄清楚細節，比如物體有多熱、物體有多遠等。這些不同傳感器的維恩圖具有一組重疊的特征，其中一些比其他傳感器更好。”

傳感器融合是一個快速創新的領域，得益于算法的不斷改進和芯片行業對 SoC 架構的深入了解。傳感器融合的一個共同點是需要異構處理方法，因為它需要結合信號處理——通常使用 DSP、專用加速器上的人工智能處理以及使用 CPU 的控制代碼。

傳感器融合在汽車領域受到廣泛關注，對于其他市場也很有用。因為攝像頭、雷達中將會有圖像傳感器，或許還有激光雷達。機器人應用中還可能有圖像傳感器和 IMU。可能有多個圖像傳感器。其他傳感器包括陀螺儀、磁力計、加速度計，這些傳感器在許多不同的領域以多種不同的方式使用。雖然汽車方面備受關注，但家用掃地機器人也使用相同的圖像傳感器和雷達傳感器。它可能具有與無人機非常相似的架構。任何類型的無人駕駛車輛都具有此類傳感器。

傳感器融合同樣需要有大量數據流入。弄清楚在哪里處理所有數據是一個挑戰，部分原因是并非所有數據都采用相同的格式。

這里存在經典的邊緣計算情況，如何平衡整個鏈條的處理：從模擬世界獲取數據的地方，到在大腦中做出決定或與駕駛員交互的地方混合使用模型，但是熱雷達、激光雷達和雷達都使用不同的類型來表示數據，將這些全部關聯起來當然不是一件小事，并且可能需要大量計算。更重要的是，還需要確定不同的項目是否一致，如何取值。

當談到數據的實際融合時，西門子弗里茨觀察了多種方法。“在早期的一些嘗試中，NVIDIA 迅速起步，他們說，‘我們可以做很多人工智能的事情。當傳感器數據傳入時，我們可以使用高端 GPU，嘗試降低其功耗，然后使用神經網絡對其進行處理。” 這就是幾年前我們在后備箱中安裝一個必須進行水冷卻的機架的原因。然后，激光雷達人員會說，‘我知道你不能為每臺激光雷達支付 20,000 美元，所以我們正在努力讓激光雷達更便宜。

“我有原始激光雷達數據。我有原始相機數據。我有雷達、激光雷達、攝像頭。我如何將所有這些放在一起？人們做了一些瘋狂的事情，比如將激光雷達數據轉換為 RGB。“我們有多個幀，因為有距離信息。然后我們將通過最簡單的卷積神經網絡運行它來嘗試檢測對象并對它們進行分類。這就是事情的嚴重程度。但有些人仍在嘗試這樣做。”

相比之下，特斯拉仍然主要依賴攝像頭數據。弗里茨說，這是可能的，因為立體相機的功能，甚至是單聲道相機中固定時間段內的連續幀，使用視差來確定深度。“正因為如此，他們說，‘為什么我需要激光雷達？因為我沒有激光雷達，所以我沒有傳感器融合問題。它只是簡化了事情。但是假設相機上的鏡頭被水或污垢覆蓋。他們有這些問題需要擔心。在極端的另一端，如果你完全依賴激光雷達，我見過這樣的場景：你有一個人穿過街道的 2D 表示，而汽車認為這是一個真人。為什么？因為反射。激光雷達發生了各種各樣人們不知道的事情。

融合不同的數據類型還取決于存在的傳感器類型。“人們正在談論早期、中期和晚期融合”。Cadence 的 Desai 說。“這一切都取決于我們的客戶和我們客戶的客戶的系統設計，這表明他們正在嘗試解決什么類型的問題。我們對其中一些事情是不可知的，因為立體傳感器可以進行早期融合或后期融合，因為你的圖像和數據都已經識別了物體，并且你可以對其進行后期融合。還可能存在中間融合，這更像是系統供應商選擇他們想要如何進行融合，他們想要做多少計算，信息有多強大，或者他們試圖解決什么類型的問題解決。這有多難？嗯，這取決于融合的類型。”

Desai 說，另一個需要考慮的因素是何時使用它們，或者經典 DSP 是否更合適，尤其是在人們對 AI/ML 技術高度關注的情況下。“我將我們過去所做的一些事情與我們今天所做的事情進行了比較。在某些問題上，你可以通過某種確定性的方式利用人工智能實現非常高的成功率。

此外，很多時候，使用人工智能引擎時，進入人工智能引擎的數據必須經過預處理，這意味著它必須采用特定的格式。即使使用AI，我仍然需要做數據的預處理和后處理。

隨著汽車原始設備制造商和系統公司將其計算架構向傳感器融合發展，實驗將成為一項要求。

西門子的弗里茨認為，在這個進化時期，處理開發的正確方法是雇用和/或組建一些小團隊來進行大量試點項目。“

盡管如此，每個 OEM 目前的處境仍取決于 OEM、他們進行架構開發的時間以及他們未來希望如何做到這一點。

“不同的原始設備制造商擁有不同水平的專業知識。有些人正試圖加強他們的團隊來解決這個問題，”弗里茨指出。“大多數原始設備制造商都有一點‘不是這里發明的’綜合癥，他們認為自己可以做到這一點，因為他們有很多聰明的人。問題是，您是否要將 ECU 從 100 個增加到 200 個，并使車輛的重量增加一倍？換句話說，他們現在的員工中往往沒有全面思考這個問題的人。他們的想法是，“我有一把錘子，因此這一定是一顆釘子。” 然后他們就慘敗了。”

與大多數新技術一樣，開發人員認識到他們需要一個適合自己 CPU 的編譯器，因此他們嘗試構建自己的編譯器。“然后他們發現他們認為可以做到的兩個人卻做不到，并意識到他們還需要四個人，然后，再需要一兩個人，”他說。“到最后，他們對它投入了如此多的感情，很難消滅它，而且這種情況會永遠持續下去，直到最后他們最終購買了他們需要的芯片并解雇了 100 名內部開發人員。這種情況經常發生，在汽車領域也不例外。

*免責聲明：本文版權歸原作者所有，本文所用圖片、文字如涉及作品版權，請第一時間聯系我們刪除。本平臺旨在提供行業資訊，僅代表作者觀點，不代表感知芯視界立場。

今日內容就到這里啦，如果有任何問題，或者想要獲取更多行業干貨研報，可以私信我或者留言

審核編輯 黃宇