停車(chē)場(chǎng)閘機(jī)的車(chē)牌識(shí)別、道路兩側(cè)的違停檢測(cè)、繁華路口的車(chē)流統(tǒng)計(jì)、茫茫車(chē)海中的車(chē)輛鎖定…這些場(chǎng)景背后的技術(shù)原理大家是否在心中簡(jiǎn)單構(gòu)思過(guò)？抑或想要抽時(shí)間自己攢一套出來(lái)可卻又不知從何下手？——PP-Vehicle來(lái)告訴你答案。

繼行人分析工具PP-Human之后，飛槳目標(biāo)檢測(cè)端到端開(kāi)發(fā)套件PaddleDetection正式開(kāi)源車(chē)輛分析工具PP-Vehicle！

PP-Vehicle是一款針對(duì)車(chē)輛分析相關(guān)場(chǎng)景的開(kāi)源工具，產(chǎn)品主要圍繞以下幾個(gè)方面進(jìn)行設(shè)計(jì)開(kāi)發(fā)：

• 實(shí)用性：針對(duì)車(chē)輛分析場(chǎng)景共性的底層模型進(jìn)行優(yōu)選迭代；針對(duì)幾個(gè)高頻場(chǎng)景進(jìn)行了詳細(xì)的后處理策略設(shè)計(jì)，可以滿(mǎn)足業(yè)務(wù)的快速上線(xiàn)需求。同時(shí)提供豐富的二次開(kāi)發(fā)教程，方便用戶(hù)根據(jù)自己的業(yè)務(wù)場(chǎng)景進(jìn)行私有化開(kāi)發(fā)。

• 泛化性：在公開(kāi)數(shù)據(jù)集以及自采數(shù)據(jù)集上進(jìn)行充分訓(xùn)練，并且提供預(yù)訓(xùn)練模型，覆蓋車(chē)輛分析中監(jiān)控視角、駕駛員視角、俯拍視角等常見(jiàn)相機(jī)視角。

• 低代碼：實(shí)現(xiàn)1行代碼快速部署，支持圖片、視頻、單路/多路rtsp視頻流輸入，修改配置文件即可快速實(shí)現(xiàn)策略修改以及pipeline的組合。

接下來(lái)讓我們具體看一下PP-Vehicle的工作。

搭配源碼食用更佳！

https://github.com/PaddlePaddle/PaddleDetection

記得Star收藏，

防止走丟又實(shí)時(shí)關(guān)注更新！

整體方案

PP-Vehicle技術(shù)架構(gòu)

PP-Vehicle整體分為輸入、核心算法、輸出三部分：

• 輸入：支持離線(xiàn)圖片、視頻以及rtsp視頻流等形式，可根據(jù)輸入類(lèi)型快速配置，如下圖所示，為輸入配置為rtsp拉流的示例。

PP-Vehiclertsp拉流預(yù)測(cè)示例

• 核心算法：主要由預(yù)訓(xùn)練模型以及邏輯策略組成。預(yù)訓(xùn)練模型主要有4個(gè)：車(chē)輛檢測(cè)模型、車(chē)輛跟蹤模型、車(chē)牌識(shí)別模型、車(chē)輛屬性分析模型。各個(gè)模型性能見(jiàn)下表：

預(yù)訓(xùn)練模型

違停pipeline配置文件示例

• 輸出：包括車(chē)牌信息、車(chē)輛軌跡、車(chē)輛屬性、違停信息等；同時(shí)支持這些信息的可視化渲染輸出，如下圖為直接配置可視化信息rtsp推流顯示。

rtsp推流展示示例

詳見(jiàn)：

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/PPVehicle_QUICK_STARTED.md

方案簡(jiǎn)析

PP-Vehicle針對(duì)一些高頻車(chē)輛分析場(chǎng)景提供了詳細(xì)的解決方案，在這里就主要思路進(jìn)行簡(jiǎn)析，詳細(xì)的解析大家可以關(guān)注課后的海報(bào)，聽(tīng)一聽(tīng)開(kāi)發(fā)同學(xué)的詳解。

車(chē)牌識(shí)別方案：

1. 通過(guò)目標(biāo)檢測(cè)來(lái)獲取圖片中的車(chē)輛檢測(cè)框，模型方案為PP-YOLOE-l。當(dāng)輸入為視頻時(shí)，會(huì)基于車(chē)輛檢測(cè)框，使用OC-SORT跟蹤模型來(lái)完成車(chē)輛的多目標(biāo)跟蹤；

2. 通過(guò)車(chē)輛檢測(cè)框的坐標(biāo)截取對(duì)應(yīng)位置圖像；

3. 使用車(chē)牌檢測(cè)模型在每張車(chē)輛截圖中識(shí)別車(chē)牌所在位置，同理截取車(chē)牌區(qū)域，模型方案為PP-OCRv3車(chē)牌檢測(cè)模型；

4. 使用字符識(shí)別模型識(shí)別車(chē)牌中的字符，模型方案為PP-OCRv3車(chē)牌識(shí)別模型；

5. 此外還使用了一些優(yōu)化策略提升速度以及準(zhǔn)確率。

1. 使用跳幀策略，每10幀做一次車(chē)牌檢測(cè)，避免每幀做車(chē)牌檢測(cè)的算力消耗；

2. 車(chē)牌結(jié)果穩(wěn)定策略，避免單幀結(jié)果的波動(dòng)，利用同一個(gè)id的歷史所有車(chē)牌識(shí)別結(jié)果進(jìn)行投票，得到該id最大可能的正確結(jié)果；

3. 車(chē)輛檢測(cè)模型聯(lián)合BDD-100k和UA-DETRAC數(shù)據(jù)集訓(xùn)練， 車(chē)牌檢測(cè)方案采用CCPD數(shù)據(jù)集在車(chē)牌場(chǎng)景finetune提升檢測(cè)精度。

詳見(jiàn)：

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/ppvehicle_plate.md

車(chē)輛屬性識(shí)別方案：

1. 車(chē)輛屬性識(shí)別模型使用了PaddleClas的超輕量圖像分類(lèi)方案(PULC，Practical Ultra Lightweight image Classification)。

2. 并在該模型的基礎(chǔ)上，進(jìn)一步使用了以下優(yōu)化方案：

1. 使用SSLD預(yù)訓(xùn)練模型，在不改變推理速度的前提下，精度提升約0.5個(gè)百分點(diǎn)；

2. 融合EDA數(shù)據(jù)增強(qiáng)策略，精度提升0.52個(gè)百分點(diǎn)；

3. 使用SKL-UGI知識(shí)蒸餾, 精度提升0.23個(gè)百分點(diǎn)。

詳見(jiàn)：

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/ppvehicle_attribute.md

違停檢測(cè)方案：

1. 通過(guò)目標(biāo)檢測(cè)來(lái)獲取車(chē)輛檢測(cè)框，模型方案為PP-YOLOE；

2. 基于跟蹤算法獲取每輛車(chē)的軌跡，模型方案為OC-SORT。如果車(chē)輛中心在違停區(qū)域內(nèi)且在指定時(shí)間內(nèi)未發(fā)生移動(dòng)，則視為違章停車(chē)；

3. 使用車(chē)牌識(shí)別模型得到違章停車(chē)車(chē)牌并可視化。

詳見(jiàn)：

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/ppvehicle_illegal_parking.md

二次開(kāi)發(fā)

此外，PP-Vehicle支持二次開(kāi)發(fā)，大家可以在自己的數(shù)據(jù)集上進(jìn)行模型訓(xùn)練、策略改寫(xiě)等，定制化自己的專(zhuān)屬PP-Vehicle。如下圖為車(chē)牌識(shí)別任務(wù)二次開(kāi)發(fā)示例：

二次開(kāi)發(fā)示例

詳見(jiàn)：

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/docs/advanced_tutorials/customization/ppvehicle_plate.md

部署優(yōu)化

特別的，PP-Vehicle針對(duì)邊緣端部署場(chǎng)景進(jìn)行了優(yōu)化，如針對(duì)Jetson系列模型選擇輕量級(jí)版本，同時(shí)開(kāi)啟跟蹤跳幀功能進(jìn)行優(yōu)化，同時(shí)提供了豐富的部署選項(xiàng)以達(dá)到性能-速度的平衡。

Jetson配置參數(shù)

詳見(jiàn)：

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/PPVehicle_QUICK_STARTED_en.md#Inference-Deployment

審核編輯 ：李倩