L3-L5等級車輛的標準非常嚴苛。在這些等級中，人類不能有參與性，而且也沒有人員作為后援。ISO 26262 ASIL標準要求車輛具備新的功能和性能，以滿足日益增長的安全要求。如今，設計用于失效保護的車輛系統功能安全性成為最前沿的技術。隨著L3-L5等級車輛的推進，系統必須能夠在失效時運行；即使發生故障，系統也需要保證功能完全可操作，或降級運行。

因此，系統必須接受測試，以能夠處理所有“假設”的狀況。這表示需要設定結合了仿真和車輛級測試的多個測試場景，包括需要隨時就位的緊急制動功能，以及當車輛發生故障時能夠將車輛導航到最近安全停車地點的車輛控制裝置。還需要確定為了訓練相關系統，需要收集多少數據才足夠使用；這些所收集的數據有助于解決所有的“假設”情況。

在動態變化的環境中，只有當得知數據來自同一時間點時，才能整合或比較來自不同來源的數據（用于診斷）。隨著越來越多的傳感器、雷達、攝像頭和LIDAR分布在整個車輛上，如何即時理解各種數據之間的相互關聯是非常重要的。

中央控制單元要求收集實時、準確的數據來獲得所有需要的信息，從而以最低的延遲決定應當做什么操作。對于L3-L5等級自動駕駛汽車所需的機器學習模型而言，精確的時間同步也是必不可少的。所以其挑戰在于所獲取的數據點可能來自以不同速度輸入的不同來源。以傳感器融合為例，與高級傳感器融合數據相比，提供行車環境詳細信息的底層傳感器融合數據需要更多的帶寬和更復雜的時間同步。時間同步標準也因網絡協議而異，這為汽車工程師帶來了更多的復雜性。以太網TSN（時間敏感網絡）和以太網AVB（音頻視頻橋接）為汽車控制系統提供了一種實現時間同步的網絡方式。GNSS則是另一種方式，特別對于自主導航系統而言。

L1-L2等級的車輛仍需要人員的參與，而對于L3-L5等級車輛，攝像頭、雷達、LIDAR和其它傳感器必須充當汽車的“眼睛”。因此，他們需要解決幾個問題，包括來自多個來源和在多種環境條件下進行操作的各種數據。傳感器和攝像頭必須能夠高精度地檢測到車輛周圍的多種特征，帶來一致、舒適、安全的駕駛體驗。這包括人類駕駛員會看到并采取行動的所有非正常道路情況，例如：意外跑到路上的動物、不遵守交通規則的其它車輛、坑洼的路面，或從意想不到的地點過馬路的行人。視覺系統還必須在晴天、雨天、雪天、霧天等天氣條件下工作。基于高精度視覺處理和傳感器融合技術的視覺系統，以及為計算機視覺進行優化的高性能硬件，提供了所需的計算能力與軟件能力，以支持汽車中越來越多的傳感器和攝像頭所需的更復雜需求。

產量給成本帶來壓力，從而帶動工程技術創新。當談論自動駕駛車輛設計中計算能力面臨的挑戰時，也同時在探討功耗問題。對于L3-L5等級的車輛，需要在滿足所需的成本要求及更低功耗的條件下，盡可能地加強計算性能。解決這一問題的方法之一是通過優化。例如，軟件是產生大量功耗的環節，而這與微處理器、GPU和其它芯片如何架構有很大關系。功能安全需求的提高，帶來了額外的挑戰。故障操作需要三重冗余；故障靜默機制亦需要冗余系統；而汽車不能提供無限的動力。高溫也是一個問題，因為熱耗散隨著功耗的增加而增加。專用硬件加速器使處理器能夠以非常低的功耗滿足特定的應用程序性能要求。了解未來系統的需求并專門針對這些需求設計硬件加速器，將可以實現經濟高效且節能的自動駕駛系統。

隨著市場轉向互聯汽車，汽車產業界已圍繞主動安全性功能的開發與部署，建立了一個廣泛的專業知識庫。高級緊急制動、自動巡航控制、車道輔助、十字路口交通警報、環視系統、交通堵塞輔助和自動停車：對于從入門到高端的各級別的汽車來說，這些功能變得越來越普及。當自動駕駛系統從測試和模型變為主流產品時，它們也面臨著類似的挑戰。汽車行業可以利用先前的ADAS投資和經驗教訓來解決當前的挑戰，允許不同程度的自動駕駛級別存在，并最終實現完全自動駕駛。