無人駕駛汽車平臺的激增？在空中，地面上，在水中？為擴大情報、監視和偵察行動提供了無與倫比的機會。選擇功能、性能、可靠性和成本的最佳組合是優化視頻使用的關鍵挑戰。同時，除了尺寸、重量和功耗 （SWaP） 之外，關鍵考慮因素還包括傳感器處理位置趨勢、視頻融合、視頻壓縮和帶寬。

下一波軍事演變浪潮是由保護作戰人員生命的雙重需求推動的，另一方面是控制運營成本的需要。這些必要條件正在推動空軍和海軍的大量投資。無人駕駛車輛比載人車輛更具消耗性，這意味著它們可以部署在原本不可能完成的任務上，并且它們具有更大的耐力。

合作任務（載人/無人組隊）和自主作戰（加油、著陸/對接、感知和避開）等無人車部署場景的出現增加了視頻處理特征和后續圖像數據傳輸的復雜性和需求。

無論無人駕駛車輛的類型是什么 - 無論是陸地，海上還是空中 - 其任務通常包括三個關鍵要素：數據采集，數據處理和數據傳輸。此外，目標跟蹤和數據融合等應用需要時間敏感性、空間感知和相互感知，以正確理解和利用數據。低延遲處理和傳輸是關鍵的性能指標，特別是當人類操作員和關鍵決策者位于遠離數據收集點的位置時。除了尺寸、重量和功率 （SWaP） 之外，還研究了關鍵考慮因素（傳感器處理位置趨勢、視頻融合、視頻壓縮和帶寬）。

趨勢：靠近傳感器

隨著高清傳感器在無人駕駛車輛上變得司空見慣，其增加的帶寬需求給傳統的視頻跟蹤和處理系統帶來了巨大的處理開銷。這一趨勢導致采用視頻架構，這些架構可以以最小的延遲處理更高的像素密度、幀速率和多個視頻源。更高的清晰度反過來又會產生指數級增長的數據量，并對下載鏈接的帶寬要求產生相關影響，并且需要通過有效捕獲，轉換和壓縮視頻流來管理這一要求。圖 2 顯示了接口帶寬與原始視頻帶寬的關系。

圖 2：接口帶寬與原始視頻帶寬

解決這種二分法的一種方法是在傳感器上進行處理，因為通常沒有時間將數據發送到地面以做出決定，或者這樣做可能會丟失視頻保真度（圖3）。在傳感器本地處理視頻可能是有益的，因為在進行任何縮小或壓縮損失之前，可以從原始高保真圖像中提取相關信息，例如目標指標，并且這可以在低延遲（通常小于1幀）下完成，以驅動后續決策過程。然而，這以遠程車輛更大的功耗為潛在代價，這可能會影響續航里程和續航能力，特別是在功率限制極其嚴格的小型平臺上。

圖 3：趨勢是處理視頻，并提取盡可能靠近傳感器的相關信息。

圖像融合簡化數據雪崩

無人駕駛軍用車輛上的傳感器數量正在迅速增加，因此需要智能方式在不使信息過載的情況下向操作員呈現信息，同時降低系統的功耗、重量和尺寸。軍事和準軍事成像系統可以包括對多個波段敏感的傳感器，包括彩色可見光、增強可見光、近紅外、熱紅外和太赫茲成像儀。在此列表中，我們可以添加將相機源與合成視頻（如地形圖）同化的需要。通常，這些系統具有一個顯示器，一次只能顯示來自一個攝像頭的數據，因此操作員必須選擇要集中處理的圖像，或者必須循環通過不同的傳感器輸出。圖像融合是一種技術，可以將來自每個傳感器的互補信息組合成一個可以顯示給操作員的優質圖像。

融合方法包括簡單的加法圖像融合方法，該方法對每個輸入圖像應用加權，然后線性組合它們。這具有低延遲和中等處理能力的優點，但具有可變質量輸出，并且不能保證保留完整的圖像對比度。在大多數情況下，線性加權融合算法將產生一個完全可接受的圖像，該圖像顯然是輸入圖像的組合，并且比并排查看兩個相機輸出更可取。但是，在某些情況下，加權平均技術將導致關鍵場景特征的丟失，并且融合圖像可能無法提供場景的增強視圖。

如果需要更高質量的圖像融合系統，則必須采用更先進的技術。兩個傳感器融合的最可靠和最成功的方法是使用多分辨率技術來分析輸入圖像，以最大限度地提高融合圖像中的場景細節和對比度。多分辨率方法的復雜性增加，在線性組合技術上引入了額外的處理負載，但為根據要求定制算法和更高質量、更可靠的融合圖像提供了更大的空間。

成功圖像融合的一個關鍵組成部分是輸入對齊，以確保不同源圖像中的像素對應于現實世界中的相同時間和位置。如果不是這種情況，現實世界中的一個特征可以在融合圖像中表示兩次，從而創建令人困惑的場景表示。理想的圖像融合系統將包含同步傳感器和公共光路，但由于成本或其他限制，這通常是不可能的。

可以通過緩沖一個圖像流來提供時間對齊，這可以補償具有不同延遲的未同步成像器或傳感器。將一個圖像與另一個圖像匹配的過程是通過創建扭曲的圖像來實現的。通過首先計算原始圖像中輸出像素的來源，然后使用周圍像素的值插值其強度來評估變形圖像的像素強度。這可以補償傳感器的任何相對旋轉，光學軸的未對準或圖像比例的差異。

內置的變形引擎可以為每個視頻源提供旋轉、縮放和平移，以補償圖像失真和成像器之間的不對中，從而減少對成像器精確匹配的需求，從而降低整體系統成本。這些系統只需要一臺顯示器，進一步降低了SWaP要求。

由于融合的目標是增加動態范圍并提供更大的景深，傳感器數據和合成視頻（例如地形圖）現在正在融合，以增強對諸如掉電等具有挑戰性的環境的局部態勢感知。

視頻壓縮

無人駕駛車輛和地面站之間的通信帶寬始終處于較高水平（圖 4）。例如，傳輸原始捕獲的視頻最多可能導致不可接受的延遲。因此，機載系統通常需要進行重要的本地處理，以識別有價值的信息，并在傳輸之前丟棄沒有價值的信息。隨著無人駕駛車輛變得越來越自主 - 不再由地面站引導，并且能夠根據實時數據調整任務 - 這種車載處理將具有更大的意義。

圖 4：從自動駕駛汽車到地面站的視頻圖像通信帶來了重大挑戰。

除此之外，為了進一步降低帶寬消耗，需要使用編解碼器來壓縮傳輸的視頻，以最小化數據流，同時最大限度地提高圖像保真度。今天選擇的編解碼器是H.264，也稱為H.264 / MPEG4，其使用的比特率約為以前視頻編解碼器的一半（或更低）。H.264之所以受歡迎，不僅因為它的效率，還因為它的應用很廣泛-包括在廣播電視中。這意味著，與JPEG2000等替代方案相比，有大量的支持和專業知識基礎設施可以使實施基于H.264的系統對軍方來說更快，成本更低。

考慮到新系統正在添加更多的視頻源，并以更高的幀速率將圖像分辨率從較低質量提高到高清晰度，因此有效的視頻壓縮變得更加重要。結果是每個視頻流的原始數據增加了12倍，這需要大量的數據壓縮，以使操作員能夠在控制中心查看一個視頻源。

信號適配器問題

日益復雜的像素處理鏈（例如跟蹤和穩定壓縮）加上每輛車上使用的傳感器數量的增加，導致正在處理的像素數量增加了十倍。滿足無人系統飛速發展的視頻處理需求，同時滿足不斷下降的SWaP期望是一項艱巨的任務。將跟蹤、移動目標檢測、圖像穩定、圖像處理和壓縮等過程組合在一塊電路板上，不僅可以節省空間，還可以使系統集成得更緊密，整體功率水平更低。

將不同的處理任務合理化為單個統一的處理平臺是解決此問題的一種有用方法，并且已經可以使用SWaP優化的基于COTS的圖像處理模塊，這些模塊設計用于放置在小型平臺上，例如手動發射的無人機或小型無人地面車輛（圖5）。

圖 5：GE 的 ADEPT3000 系統級模塊圖像處理器專為高度受限的 SWaP 環境而設計。

最終，視頻架構的仔細規劃和實施對于任何有效的解決方案都至關重要，多功能圖像處理器的使用可以成為在不犧牲性能的情況下減少整體SWaP占用空間的有效工具。

審核編輯：郭婷