本文介紹了TwinLiteNet：一種自動(dòng)駕駛汽車(chē)中可行駛區(qū)域和車(chē)道分割的高效輕量級(jí)模型。語(yǔ)義分割是自動(dòng)駕駛中理解周?chē)h(huán)境的一項(xiàng)常見(jiàn)任務(wù)。可行駛區(qū)域分割和車(chē)道檢測(cè)對(duì)于道路上安全且高效的導(dǎo)航尤為重要。然而，原始的語(yǔ)義分割模型計(jì)算代價(jià)高昂，并且需要高端硬件，這對(duì)于自動(dòng)駕駛汽車(chē)中的嵌入式系統(tǒng)是不可行的。

本文提出了一種用于可行駛區(qū)域和車(chē)道線分割的輕量級(jí)模型。TwinLiteNet設(shè)計(jì)代價(jià)低廉，但是可以獲得精確且高效的分割結(jié)果。我們?cè)贐DD100K數(shù)據(jù)集上評(píng)估了TwinLiteNet，并且將其與現(xiàn)代模型進(jìn)行比較。

實(shí)驗(yàn)結(jié)果表明，TwinLiteNet的表現(xiàn)與現(xiàn)有方法類(lèi)似，所需要的計(jì)算資源明顯減少。具體而言，TwinLiteNet使用僅40萬(wàn)個(gè)參數(shù)在可行駛區(qū)域分割任務(wù)中獲得91.3%的mIoU得分以及在車(chē)道檢測(cè)任務(wù)中獲得31.08%的IoU得分，并且在GPU RTX A5000上實(shí)現(xiàn)了415FPS幀率。此外，TwinLiteNet可以在計(jì)算能力有效的嵌入式設(shè)備上實(shí)時(shí)地運(yùn)行，尤其是因?yàn)樗贘etson Xavier NX上實(shí)現(xiàn)了60FPS幀率，這使其成為自動(dòng)駕駛汽車(chē)的理想解決方案。

主要貢獻(xiàn)

本文的主要貢獻(xiàn)如下：

1）本文提出了一種用于可行駛區(qū)域分割和車(chē)道檢測(cè)的計(jì)算高效框架；

2）本文提出的架構(gòu)基于ESPNet，它是一種可擴(kuò)展的卷積分割網(wǎng)絡(luò)，其結(jié)合了深度可分離卷積以及雙重注意力網(wǎng)絡(luò)，但是沒(méi)有使用單個(gè)解碼模塊，而是針對(duì)每個(gè)任務(wù)利用兩個(gè)解碼模塊，類(lèi)似于YOLOP、YOLOPv2；

3）本文實(shí)驗(yàn)結(jié)果表明，TwinLiteNet在各種圖像分割任務(wù)上通過(guò)較少的參數(shù)實(shí)現(xiàn)了不錯(cuò)的性能。

論文圖片和表格

總結(jié)

本文為自動(dòng)駕駛?cè)蝿?wù)（特別是可行駛區(qū)域分割和車(chē)道檢測(cè)）引入了一種輕量級(jí)且高效的分割模型。本文的TwinLiteNet旨在實(shí)現(xiàn)高處理速度，同時(shí)在準(zhǔn)確性方面稍作權(quán)衡。本文在BDD100K數(shù)據(jù)集上評(píng)估了TwinLiteNet，結(jié)果表明，本文模型在GPUs甚至邊緣設(shè)備上實(shí)現(xiàn)了精度和高計(jì)算速度之間的良好平衡。今后，我們?cè)噲D在各種開(kāi)源數(shù)據(jù)集上評(píng)估TwinLiteNet模型的性能，并且將其應(yīng)用于現(xiàn)實(shí)世界場(chǎng)景中。該方法使我們能夠評(píng)估其在不同情況下的有效性，并且應(yīng)對(duì)實(shí)際挑戰(zhàn)。