[首發(fā)于智駕最前沿微信公眾號(hào)]自動(dòng)駕駛系統(tǒng)能否穩(wěn)定、安全地工作，關(guān)鍵在于它能不能持續(xù)學(xué)習(xí)、持續(xù)改進(jìn)。自動(dòng)駕駛系統(tǒng)并不是靠一個(gè)寫(xiě)好的程序就能一直用下去的，它在運(yùn)行過(guò)程中會(huì)經(jīng)常遇到“看不懂”或“判斷錯(cuò)”的情況。如果無(wú)法將這些在實(shí)際駕駛中出現(xiàn)的問(wèn)題和新場(chǎng)景反饋給研發(fā)團(tuán)隊(duì)，團(tuán)隊(duì)就難以修復(fù)缺陷、提升系統(tǒng)能力。

數(shù)據(jù)閉環(huán)，正是為了解決這個(gè)問(wèn)題而建立的完整循環(huán)。它指的是把車(chē)輛在真實(shí)道路或測(cè)試中收集到的數(shù)據(jù)，持續(xù)傳回給開(kāi)發(fā)團(tuán)隊(duì)，經(jīng)過(guò)處理、學(xué)習(xí)、驗(yàn)證和再次部署，可以更新到車(chē)輛上。只要這個(gè)循環(huán)運(yùn)轉(zhuǎn)得好，自動(dòng)駕駛系統(tǒng)就能不斷進(jìn)步。

圖片源自：網(wǎng)絡(luò)

數(shù)據(jù)閉環(huán)的核心目標(biāo)，是讓真實(shí)交通場(chǎng)景中遇到的新問(wèn)題能夠被快速發(fā)現(xiàn)、標(biāo)注、分析，并用于更新模型，從而避免同樣的問(wèn)題反復(fù)出現(xiàn)。這很像軟件開(kāi)發(fā)中的版本迭代流程，即發(fā)現(xiàn)問(wèn)題、收集反饋、后臺(tái)修復(fù)、推送新版本，然后循環(huán)進(jìn)行。只不過(guò)在自動(dòng)駕駛中，由于涉及大量傳感器數(shù)據(jù)、機(jī)器學(xué)習(xí)與仿真測(cè)試，它所依賴(lài)的數(shù)據(jù)閉環(huán)體系要更加復(fù)雜。

數(shù)據(jù)閉環(huán)先要做的是數(shù)據(jù)采集

想要做好數(shù)據(jù)閉環(huán)，首先要做的就是數(shù)據(jù)采集。自動(dòng)駕駛車(chē)輛上裝有各種如攝像頭、毫米波雷達(dá)、激光雷達(dá)等傳感器，它們可以捕捉車(chē)輛周?chē)h(huán)境的實(shí)時(shí)信息。這些傳感器的數(shù)據(jù)是最原始、最全面的，能反映路況、障礙物、交通信號(hào)以及其他道路使用者的行為。實(shí)時(shí)捕獲的這些數(shù)據(jù)是整個(gè)閉環(huán)系統(tǒng)的基礎(chǔ)。

圖片源自：網(wǎng)絡(luò)

這些原始數(shù)據(jù)的來(lái)源可分為兩類(lèi)，一種是測(cè)試車(chē)輛在封閉試驗(yàn)場(chǎng)或開(kāi)放道路上跑測(cè)試時(shí)采集的數(shù)據(jù)，另一種是量產(chǎn)車(chē)在實(shí)際道路上運(yùn)營(yíng)時(shí)采集的數(shù)據(jù)。前者可以主動(dòng)控制測(cè)試場(chǎng)景，覆蓋各種設(shè)定的測(cè)試條件；后者則能夠捕獲真是交通環(huán)境中的真實(shí)問(wèn)題和大量邊緣情況。收集到的數(shù)據(jù)會(huì)被傳輸?shù)皆贫嘶驍?shù)據(jù)中心，為后續(xù)處理做好準(zhǔn)備。

這里需要注意的是，這些數(shù)據(jù)不像普通的系統(tǒng)日志那樣容易整理。其中會(huì)包含圖像、激光雷達(dá)點(diǎn)云、雷達(dá)信號(hào)等多類(lèi)信息，形態(tài)多樣且十分復(fù)雜，大部分內(nèi)容并不能直接用來(lái)訓(xùn)練模型。因此，采集回來(lái)的數(shù)據(jù)要先經(jīng)過(guò)一輪篩選，提取最具價(jià)值的路況片段、特定的錯(cuò)誤場(chǎng)景等。這樣做是為了確保后續(xù)的處理環(huán)節(jié)不會(huì)被海量無(wú)效數(shù)據(jù)拖慢效率，從而更聚焦于關(guān)鍵問(wèn)題的優(yōu)化與學(xué)習(xí)。

數(shù)據(jù)預(yù)處理和清洗是關(guān)鍵

剛采集到的原始數(shù)據(jù)，不能直接拿來(lái)訓(xùn)練模型，必須經(jīng)過(guò)預(yù)處理和清洗。這一步的目的是剔除數(shù)據(jù)中的干擾信息，并把真正有用的部分提取出來(lái)。

預(yù)處理包括數(shù)據(jù)格式轉(zhuǎn)換、時(shí)間對(duì)齊和坐標(biāo)統(tǒng)一等操作。因?yàn)樽詣?dòng)駕駛車(chē)輛上的不同傳感器有自己的時(shí)鐘和坐標(biāo)參考系。如果不把它們的數(shù)據(jù)在時(shí)間和空間上對(duì)齊，后續(xù)分析就會(huì)混亂。舉個(gè)例子，激光雷達(dá)探測(cè)到的障礙物位置，如果沒(méi)和攝像頭拍攝的畫(huà)面在時(shí)間上同步，就很難判斷這個(gè)障礙物是否真實(shí)存在。

清洗則是把有明顯錯(cuò)誤、數(shù)據(jù)缺失或不完整的部分篩選掉。如在高速行駛時(shí)，傳感器可能被遮擋或受到干擾，產(chǎn)生不可靠的數(shù)據(jù)。如果這類(lèi)數(shù)據(jù)被用于訓(xùn)練，很可能讓模型學(xué)到錯(cuò)誤規(guī)律。因此，數(shù)據(jù)清洗是保證模型訓(xùn)練效果的重要步驟。

在這個(gè)階段，還會(huì)配合自動(dòng)標(biāo)注技術(shù)。通過(guò)自動(dòng)標(biāo)注工具，可以初步識(shí)別并標(biāo)出圖像中的行人、車(chē)輛、交通標(biāo)志等對(duì)象的位置和類(lèi)型。之后，再由經(jīng)驗(yàn)豐富的工程師對(duì)自動(dòng)標(biāo)注結(jié)果進(jìn)行復(fù)核和修正，確保標(biāo)注準(zhǔn)確。采用“自動(dòng)標(biāo)注+人工校對(duì)”的方式，能夠顯著提升標(biāo)注流程的效率。

圖片源自：網(wǎng)絡(luò)

用數(shù)據(jù)訓(xùn)練和優(yōu)化模型

經(jīng)過(guò)清洗和標(biāo)注的數(shù)據(jù)，會(huì)被用于模型訓(xùn)練。在自動(dòng)駕駛系統(tǒng)中，大多數(shù)感知、預(yù)測(cè)和規(guī)劃功能都依賴(lài)于機(jī)器學(xué)習(xí)模型，而這些模型需要大量標(biāo)注準(zhǔn)確的數(shù)據(jù)來(lái)“學(xué)習(xí)”如何識(shí)別場(chǎng)景并做出正確判斷。

訓(xùn)練工作一般在云端的高性能計(jì)算集群上進(jìn)行。在此之前，要將準(zhǔn)備好的數(shù)據(jù)按用途分為用于感知模型訓(xùn)練的、用于預(yù)測(cè)模型訓(xùn)練的、用于仿真測(cè)試的等類(lèi)別，繼而組合成訓(xùn)練集和驗(yàn)證集。機(jī)器學(xué)習(xí)算法通過(guò)反復(fù)調(diào)整模型內(nèi)部的參數(shù)，使模型在遇到新數(shù)據(jù)時(shí)可以做出正確判斷。

圖片源自：網(wǎng)絡(luò)

這種訓(xùn)練不是一次性的，而是會(huì)持續(xù)迭代。每當(dāng)有新的數(shù)據(jù)被標(biāo)注完畢，就可以加入到訓(xùn)練集中，讓模型接受更多樣的訓(xùn)練。這樣模型可以不斷學(xué)習(xí)新的情況，不斷提升準(zhǔn)確率。

有些技術(shù)方案還引入大模型技術(shù)加快這個(gè)過(guò)程。大模型借助更強(qiáng)的理解能力，能自動(dòng)識(shí)別復(fù)雜場(chǎng)景、自動(dòng)提取特征，從而把人工參與程度降低、訓(xùn)練效率提升。

仿真測(cè)試：在虛擬世界里驗(yàn)證更新

訓(xùn)練好模型后，并不能直接推送到車(chē)輛上運(yùn)行，還需要經(jīng)過(guò)嚴(yán)格的測(cè)試。真實(shí)路測(cè)雖然有必要，但成本高、風(fēng)險(xiǎn)大，因此仿真測(cè)試是數(shù)據(jù)閉環(huán)中不可或缺的一環(huán)。

仿真環(huán)境可以模擬各種道路場(chǎng)景、交通情況和天氣條件。可以把新訓(xùn)練的模型在仿真環(huán)境中反復(fù)測(cè)試，驗(yàn)證它能否在各種情況下保持安全與穩(wěn)定。像是高峰擁堵、突然橫穿的行人、復(fù)雜交叉路口等場(chǎng)景，都可以在仿真中反復(fù)測(cè)試。

圖片源自：網(wǎng)絡(luò)

仿真測(cè)試的一個(gè)重要作用是發(fā)現(xiàn)模型在真實(shí)道路上可能遇到但尚未遇到的邊緣場(chǎng)景。這些場(chǎng)景由于出現(xiàn)的概率極低，難以通過(guò)實(shí)際道路測(cè)試捕獲，但如果遇到就可能導(dǎo)致系統(tǒng)失效，因此通過(guò)仿真測(cè)試，可以彌補(bǔ)這一場(chǎng)景無(wú)法覆蓋的問(wèn)題。

仿真系統(tǒng)還可以根據(jù)已有數(shù)據(jù)生成新的測(cè)試場(chǎng)景，補(bǔ)充現(xiàn)實(shí)數(shù)據(jù)的不足，這也是提高訓(xùn)練覆蓋面和模型魯棒性的重要方式。

車(chē)端驗(yàn)證和部署

經(jīng)過(guò)訓(xùn)練和仿真測(cè)試都合格的模型，就可以部署到車(chē)端進(jìn)行驗(yàn)證了。在這個(gè)階段，車(chē)輛會(huì)在更大范圍的真實(shí)道路條件下運(yùn)行，觀察自動(dòng)駕駛系統(tǒng)的表現(xiàn)是否與仿真測(cè)試一致。

車(chē)端驗(yàn)證仍然會(huì)產(chǎn)生大量數(shù)據(jù)，這些數(shù)據(jù)可以再次反饋回云端，進(jìn)入下一個(gè)循環(huán)的采集和分析環(huán)節(jié)。通過(guò)這種環(huán)節(jié)，新模型展開(kāi)的運(yùn)行驗(yàn)證將成為下一次閉環(huán)迭代的輸入。

在這個(gè)階段，最關(guān)鍵的工作是做好監(jiān)控與異常捕捉。系統(tǒng)需要實(shí)時(shí)記錄每次決策、每次預(yù)測(cè)與實(shí)際情況的差異，一旦發(fā)現(xiàn)它在特定場(chǎng)景下出現(xiàn)判斷偏差的趨勢(shì)，就要及時(shí)將相關(guān)數(shù)據(jù)提取出來(lái)，作為下一輪訓(xùn)練的重要素材。

圖片源自：網(wǎng)絡(luò)

通過(guò)這樣持續(xù)不斷的驗(yàn)證與反饋，整個(gè)自動(dòng)駕駛系統(tǒng)就可以逐步完善，實(shí)現(xiàn)從一開(kāi)始只能在簡(jiǎn)單路況下運(yùn)行，漸漸成長(zhǎng)為能夠應(yīng)對(duì)復(fù)雜交通環(huán)境、惡劣天氣等真實(shí)挑戰(zhàn)的成熟系統(tǒng)。

部署閉環(huán)體系的挑戰(zhàn)

要構(gòu)建一個(gè)高效的數(shù)據(jù)閉環(huán)，并不是簡(jiǎn)單地把數(shù)據(jù)從車(chē)輛傳回后臺(tái)這么簡(jiǎn)單。它更像搭建一條自動(dòng)化的“學(xué)習(xí)流水線(xiàn)”，需要多個(gè)環(huán)節(jié)緊密配合，并配以相應(yīng)的工具與平臺(tái)。

由于數(shù)據(jù)閉環(huán)中產(chǎn)生的數(shù)據(jù)量是非常龐大且類(lèi)型多樣的，因此，必須依賴(lài)高性能的存儲(chǔ)與大規(guī)模數(shù)據(jù)處理能力，才能高效地存取和整理海量信息。

自動(dòng)標(biāo)注與數(shù)據(jù)處理工具也很重要，它們決定了原始數(shù)據(jù)能否被快速、準(zhǔn)確地轉(zhuǎn)化為可供模型學(xué)習(xí)的訓(xùn)練樣本，這將直接影響后續(xù)環(huán)節(jié)的進(jìn)度與質(zhì)量。

圖片源自：網(wǎng)絡(luò)

同時(shí)，強(qiáng)大的訓(xùn)練與仿真計(jì)算平臺(tái)也不可或缺。模型的迭代學(xué)習(xí)依賴(lài)充足的算力支持，而仿真環(huán)境則能安全、高效地驗(yàn)證算法在眾多場(chǎng)景下的表現(xiàn)。

此外，還需要建立模型部署與實(shí)時(shí)監(jiān)控系統(tǒng)。這可以確保更新后的模型順利應(yīng)用到車(chē)輛中，并在實(shí)際運(yùn)行中持續(xù)監(jiān)測(cè)其表現(xiàn)，及時(shí)發(fā)現(xiàn)問(wèn)題并觸發(fā)新一輪的優(yōu)化。

需要注意的是，在整個(gè)閉環(huán)過(guò)程中，數(shù)據(jù)采集與處理還必須遵循合規(guī)與隱私保護(hù)原則。自動(dòng)駕駛車(chē)輛采集的數(shù)據(jù)有時(shí)涉及個(gè)人圖像信息或其他敏感內(nèi)容，這些數(shù)據(jù)在傳輸和存儲(chǔ)時(shí)必須進(jìn)行脫敏處理，確保不泄露個(gè)人隱私。此外，各個(gè)國(guó)家和地區(qū)對(duì)自動(dòng)駕駛數(shù)據(jù)的使用和跨境傳輸都有嚴(yán)格規(guī)定，開(kāi)發(fā)團(tuán)隊(duì)需要符合這些法律法規(guī)要求。

總之，數(shù)據(jù)閉環(huán)需要從采集、存儲(chǔ)、處理、訓(xùn)練、測(cè)試到部署與驗(yàn)證的全鏈條進(jìn)行系統(tǒng)化建設(shè)，形成一套自動(dòng)化程度高、反饋迅速的運(yùn)行機(jī)制。只有這樣，閉環(huán)才能真正運(yùn)轉(zhuǎn)起來(lái)，從而推動(dòng)自動(dòng)駕駛系統(tǒng)持續(xù)進(jìn)化。

最后的話(huà)

自動(dòng)駕駛技術(shù)的發(fā)展離不開(kāi)數(shù)據(jù)閉環(huán)。一個(gè)完善的數(shù)據(jù)閉環(huán)體系能讓車(chē)輛在真實(shí)交通場(chǎng)景中遇到的各種新情況被及時(shí)捕獲、整理、學(xué)習(xí)并用于系統(tǒng)更新。這不僅會(huì)提升系統(tǒng)的安全和穩(wěn)定性，還能加快整體研發(fā)進(jìn)度。