[首發(fā)于智駕最前沿微信公眾號(hào)]在討論自動(dòng)駕駛大模型時(shí)，常會(huì)有幾個(gè)評(píng)價(jià)維度，如感知是否準(zhǔn)確、決策是否穩(wěn)定、系統(tǒng)是否足夠魯棒，以及模型有沒(méi)有“泛化能力”。相比準(zhǔn)確率、延遲這些容易量化的指標(biāo)，“泛化能力”這個(gè)詞看起來(lái)比較抽象，也更容易被模糊使用。

它沒(méi)有直觀的評(píng)價(jià)標(biāo)準(zhǔn)，卻決定了模型能不能真正走出訓(xùn)練數(shù)據(jù)、應(yīng)對(duì)真實(shí)道路中的未知情況。理解清楚它到底指的是什么、為什么難、又該如何評(píng)估，是理解自動(dòng)駕駛大模型能力邊界的第一步。

什么是泛化能力？

泛化能力，就是機(jī)器學(xué)習(xí)模型能否將在訓(xùn)練里學(xué)到的東西應(yīng)用到?jīng)]見(jiàn)過(guò)的新情況上。舉個(gè)簡(jiǎn)單例子，訓(xùn)練相當(dāng)于老師在教一套例題，泛化就是學(xué)生碰到新題能不能用學(xué)到的方法做對(duì)。

圖片源自：網(wǎng)絡(luò)

對(duì)于自動(dòng)駕駛來(lái)說(shuō)，所謂泛化能力，指的是訓(xùn)練出來(lái)的感知、預(yù)測(cè)和規(guī)劃等模塊，不僅能在實(shí)驗(yàn)室條件下表現(xiàn)很好，在真實(shí)道路中同樣表現(xiàn)可靠。無(wú)論是在日常街道，還是在雨天、夜間、施工路段這些模型并未充分見(jiàn)過(guò)的場(chǎng)景下，系統(tǒng)都能持續(xù)做出合理、安全的判斷和決策。它并不是一個(gè)可以用單一分?jǐn)?shù)衡量的性能指標(biāo)，而是一種綜合體現(xiàn)，反映的是整個(gè)自動(dòng)駕駛系統(tǒng)在未知環(huán)境和復(fù)雜條件下的穩(wěn)定性與可信程度。

為什么自動(dòng)駕駛格外看重泛化？

自動(dòng)駕駛和多數(shù)純視覺(jué)、識(shí)別任務(wù)不同，承擔(dān)的是交通安全責(zé)任。數(shù)據(jù)永遠(yuǎn)不可能窮盡，世界上有無(wú)數(shù)種路、不同國(guó)家的交通習(xí)慣、各種天氣和光照組合、臨時(shí)施工和奇怪的路牌、以及駕駛者和行人的隨機(jī)行為。

訓(xùn)練里能見(jiàn)到的都是有限樣本，現(xiàn)實(shí)里的變化比訓(xùn)練復(fù)雜得多。像是那些孩子從車后突然竄出、貨車散落、逆向臨時(shí)標(biāo)牌、極端暴雨或路面結(jié)冰等“稀有但危險(xiǎn)”的尾部場(chǎng)景，在訓(xùn)練集中極少出現(xiàn)，但發(fā)生時(shí)后果會(huì)更嚴(yán)重。如果模型在這些場(chǎng)景下不能泛化，那就不能算是合格的自動(dòng)駕駛。

除了安全原因，泛化還能決定系統(tǒng)的可推廣性和商業(yè)落地成本，泛化好，意味著同一套模型能在更多城市、更廣的ODD里復(fù)用，可節(jié)省反覆收集和標(biāo)注的成本。

泛化為什么這么難？

大模型泛化能力一直是重要的評(píng)價(jià)指標(biāo)，但很難確保大模型足夠泛化。大模型的訓(xùn)練集和實(shí)際部署環(huán)境往往不是同一個(gè)分布，一個(gè)白天、晴天在市區(qū)采集的訓(xùn)練集，不能保證夜間、鄉(xiāng)間或另一座城市里的表現(xiàn)。

對(duì)于大模型來(lái)說(shuō)，它很容易把訓(xùn)練樣本“記住”，卻未必真正理解其中的規(guī)律，也就是我們常說(shuō)的過(guò)擬合。模型本身能力很強(qiáng)，如果訓(xùn)練數(shù)據(jù)不夠豐富，或者約束手段不合適，它就可能抓住一些只在訓(xùn)練數(shù)據(jù)里成立的小特征，當(dāng)成判斷依據(jù)。這種做法在訓(xùn)練時(shí)看起來(lái)效果很好，但一旦換了環(huán)境或場(chǎng)景，這些“捷徑”就不成立了，模型的表現(xiàn)也會(huì)隨之下降。

自動(dòng)駕駛是多模塊、多傳感器、多任務(wù)的系統(tǒng)，感知、預(yù)測(cè)、規(guī)劃、控制之間的誤差會(huì)放大；傳感器也各有弱點(diǎn)，攝像頭在逆光或弱光里受限，雷達(dá)在細(xì)節(jié)分辨率上不足，LiDAR在某些天氣或被遮擋時(shí)性能下降。不同傳感器失效的模式不同，讓大模型在新環(huán)境下的行為更難預(yù)測(cè)。

此外，還有一個(gè)問(wèn)題經(jīng)常會(huì)被忽略，那就是模型到底“測(cè)得準(zhǔn)不準(zhǔn)”。很多時(shí)候，大家只關(guān)注驗(yàn)證集或者榜單上的平均得分，有些模型會(huì)看起來(lái)表現(xiàn)不錯(cuò)，但這些數(shù)字只是反映常見(jiàn)場(chǎng)景，并不能說(shuō)明在少見(jiàn)、復(fù)雜或者危險(xiǎn)的情況下會(huì)怎么表現(xiàn)。一些真正有風(fēng)險(xiǎn)的情況，可能正好被平均指標(biāo)掩蓋了。

同時(shí)，自動(dòng)駕駛想真正上路運(yùn)行，還要面對(duì)法律和安全方面的要求。這意味著系統(tǒng)不僅要在大多數(shù)情況下表現(xiàn)好，還必須提前想清楚，如果模型在陌生場(chǎng)景里出錯(cuò)，該怎么發(fā)現(xiàn)、怎么監(jiān)測(cè)、又該如何安全地退出來(lái)，而不能等問(wèn)題發(fā)生了再補(bǔ)救。這些能力的體現(xiàn)，全部都可以歸結(jié)到大模型的泛化能力中。

如何提升大模型泛化能力？

想要真正提升大模型的泛化能力，不能只盯著數(shù)據(jù)。數(shù)據(jù)固然重要，但更關(guān)鍵的是有沒(méi)有更多類型的數(shù)據(jù)。實(shí)際訓(xùn)練中，需要在不同城市、不同季節(jié)、不同路網(wǎng)結(jié)構(gòu)下采集數(shù)據(jù)，同時(shí)要覆蓋不同攝像頭和傳感器配置。像雨天、夜里、施工路段、臨時(shí)增加的交通標(biāo)識(shí)這些不常見(jiàn)但很容易出問(wèn)題的場(chǎng)景，也都應(yīng)該盡量出現(xiàn)在訓(xùn)練過(guò)程中。數(shù)據(jù)增強(qiáng)的作用也不只是簡(jiǎn)單拉高亮度、調(diào)下對(duì)比度，而是有針對(duì)性地模擬真實(shí)世界可能遇到的變化，必要時(shí)還可以用合成數(shù)據(jù)補(bǔ)足那些現(xiàn)實(shí)中很難大量采集的場(chǎng)景。

為了實(shí)現(xiàn)這些目的，仿真的作用就凸顯出來(lái)了。通過(guò)高質(zhì)量的仿真，可以構(gòu)造出大量危險(xiǎn)或極端但現(xiàn)實(shí)中難以反復(fù)采集的場(chǎng)景，可以讓大模型提前見(jiàn)見(jiàn)世面。當(dāng)然，仿真并不是隨便搭建就行，如果仿真環(huán)境和真實(shí)道路差距太大，大模型學(xué)到的就只是虛擬世界里的規(guī)律，一旦上路反而容易出問(wèn)題。因此，仿真需要覆蓋多種環(huán)境變化，并持續(xù)用真實(shí)數(shù)據(jù)去校準(zhǔn)和修正，形成一個(gè)和真實(shí)世界不斷對(duì)齊的閉環(huán)。

也有很多技術(shù)方案會(huì)從算法層面讓模型更容易適應(yīng)新環(huán)境。比如域適應(yīng)，就是大模型在正式部署前，用一小部分新環(huán)境的數(shù)據(jù)對(duì)模型做針對(duì)性調(diào)整，讓它先“適應(yīng)下新地方”。域泛化則更進(jìn)一步，其希望模型在訓(xùn)練階段就不要過(guò)分依賴某個(gè)具體城市或場(chǎng)景，而是學(xué)到更通用的判斷依據(jù)。遷移學(xué)習(xí)和元學(xué)習(xí)也是類似思路，一個(gè)是把在舊環(huán)境中學(xué)到的通用能力帶到新環(huán)境里，另一個(gè)是讓模型具備更快適應(yīng)新場(chǎng)景的能力。

此外，還有一些魯棒訓(xùn)練方法，可以讓模型對(duì)噪聲和擾動(dòng)不那么敏感；而置信度評(píng)估和異常檢測(cè)，則是在大模型自己“不太確定”時(shí)，及時(shí)暴露這種不確定性，避免繼續(xù)做出過(guò)于激進(jìn)的判斷。

沒(méi)有哪一種傳感器在所有情況下都穩(wěn)定可靠，為提升大模型泛化能力，不能把系統(tǒng)的安全完全寄托在單個(gè)感知源或單一模型上。攝像頭、雷達(dá)、激光雷達(dá)、定位和地圖各有優(yōu)勢(shì)，把它們作為互相補(bǔ)充的信息來(lái)源，通過(guò)交叉校驗(yàn)和一致性檢查來(lái)相互驗(yàn)證，當(dāng)某一種傳感器受影響時(shí)，其他通道還能起到補(bǔ)充作用。通過(guò)冗余，還可以在發(fā)現(xiàn)不確定性升高時(shí)逐步收緊能力，從正常自動(dòng)駕駛過(guò)渡到受限模式，再到提醒人工接管，必要時(shí)執(zhí)行安全停車，而不是等出現(xiàn)明顯錯(cuò)誤才做出劇烈反應(yīng)。

對(duì)于大模型的評(píng)估和驗(yàn)證，也不能單純看“平均表現(xiàn)”，而要看“場(chǎng)景是否覆蓋充分”。在車輛正式上路前，應(yīng)該有一套盡量完整的場(chǎng)景庫(kù)，能說(shuō)清楚系統(tǒng)已經(jīng)覆蓋了哪些天氣、光照條件、路口類型和突發(fā)行為。同時(shí)，還要專門(mén)針對(duì)那些少見(jiàn)但風(fēng)險(xiǎn)高的場(chǎng)景做壓力測(cè)試，而不是只看一個(gè)整體準(zhǔn)確率。系統(tǒng)上線之后，同樣不能就此放手不管，而是要通過(guò)日志分析、近失效事件回放等方式，持續(xù)監(jiān)控實(shí)際表現(xiàn)，把那些在真實(shí)運(yùn)行中暴露出來(lái)的問(wèn)題重新引入訓(xùn)練流程，形成持續(xù)修正的閉環(huán)。

最后的話

談自動(dòng)駕駛大模型到底行不行，不能只是看在測(cè)試集上跑得有多漂亮，還要看在真實(shí)道路上、換了城市、天氣和交通參與者之后能不能穩(wěn)得住。泛化能力說(shuō)白了，就是評(píng)價(jià)模型有沒(méi)有真正“學(xué)會(huì)開(kāi)車”。只有在沒(méi)見(jiàn)過(guò)的場(chǎng)景里依然能做出合理、安全決策的大模型，才有可能走得出實(shí)驗(yàn)室，真的用在路上。

審核編輯 黃宇