Q1文章提出的工程問題是什么?

有什么實際工程價值?

在交通負荷和氣候的影響下，路面系統會隨著時間的推移而惡化，每年需要花費大量資金來修復和保持其性能在預期水平。可靠和準確的路面狀況數據在路面管理系統(PMS)中發揮著關鍵作用，人工調查可能存在潛在的安全問題，需要交通控制，耗時且結果受主觀影響，這可能導致每年的路面狀況數據不一致。

因此，基于數字成像的調查技術以高速公路的速度捕獲路面圖像，并將其存儲在電子介質上，用于進行路面狀況的解釋的方法被大量研究。自動化和半自動化技術由于其在安全性和效率、數據一致性和可重復性以及全車道覆蓋的高分辨率路面圖像等方面的優勢，在路面條件數據收集領域獲得了廣泛的接受。

Q2文章提出的科學問題是什么?

有什么新的學術貢獻?

基于圖像的系統正在成為為路面管理活動收集路面狀況數據的流行系統，路面工程師會根據路面類型定義各種遇險類別。然而，現在的軟件解決方案在自動從收集到的圖像中正確識別路面類型方面存在局限性。

本文提出了一種基于卷積神經網絡(CNN)的路面識別系統PvmtTPNet，具有可接受的一致性、準確性并且高效自動識別路面類型。

1. 通過使用統計學習方法分析近場的聲音輪廓和紋理，確定了不同類型的路面。

2. 利用最先進的PaveVison3D系統(Wangetal.2015)在俄克拉何馬州不同條件下不同路面類型的路線上以1毫米分辨率的路面圖像。共隨機選取80%的準備圖像用于對所提網絡的訓練，其余20%的圖像用于測試。

3. 將獲得的網絡應用于確定2019年另外兩個數據收集的圖像的路面類型，以評估性能。

Q3文章提出的技術路線是什么?

有什么改進創新之處?

①訓練數據

本研究考慮了PMS中通常評定和測量的三種路面類型：瀝青混凝土路面(AC)、接縫素混凝土路面(JPCP)和連續鋼筋混凝土路面(CRCP)。總共收集了21,000張二維(2D)圖像，覆蓋了84,000米(52.20英里)的長路面切片。隨機選取80%的準備圖像用于對所提網絡的訓練，其余20%的圖像用于測試。在訓練過程中，將制備的二維圖像縮小到475×512 二維圖像，以提高計算效率。圖1是預先準備的數據集的圖像樣例。

圖1 準備的數據集的圖像樣例：(a)新;(b)有裂縫;(c)有密封裂縫;(d)有修補;(e)有裂縫;(f)有PCC修補;(g)有出口;(h)有交流修補;(i)有DBR;(j)有DBR和修補;(k)有裂縫;(l)有凹槽。

② 網絡開發

圖2顯示了PvmtTPNet的體系結構。PvmtTPNet由六層組成：三個卷積層、兩個全連接層和一個輸出層。PvmtTPNet的輸入端是準備好的二維路面圖像，輸出層計算出預測的路面類型的概率分布。在每個卷積層中，使用8個大小為13×13的核來提取輸入圖像的特征，如邊緣和形狀。對于這兩個完全連接的圖層，我們分別實現了32個節點和16個節點，以保存最重要的路面圖像的特征。

圖2 利用GA對HNN進行優化的流程圖

③訓練技巧

在網絡訓練過程中，采用了不同技術的組合，根據準備好的二維圖像來調整PvmtTPNet內的超參數。對網絡的參數進行逐步調整，以減少輸出分數與期望分數模式之間的誤差，以減少訓練損失，提高訓練精度(LeCunetal.2015)。經過廣泛的訓練，PvmtTPNet能夠根據一個得分向量來預測給定的二維圖像的路面類型，其中所有類別的最高得分將對應于路面類型。表1總結了PvmtTPNet的調優超參數，總數為992,979個。表1是訓練參數的總結。

表1 訓練參數總結

④ 訓練結果

網絡訓練和測試的分類精度和交叉熵損失如圖3所示。隨著訓練周期數的增加，分類精度增加，交叉熵損失減小。PvmtTPNet在100個時代的準備數據集上的訓練需要28小時才能在NVIDIAtitanVGPU卡上完成。通過對訓練技術的選擇組合，測試數據的分類精度仍然接近于訓練數據的分類精度，這表明該網絡中很少存在過擬合問題。特別是，PvmtTPNet的最高測試精度為98.48%，這是在第96時代觀察到的。同時，訓練數據和測試數據的交叉熵損失分別為0.0067和0.054。因此，在第96階段導出的參數被認為是PvmtTPNet的最優參數。訓練數據在最優時期的分類精度達到99.83%。

圖3 分類精度和交叉熵損失的總結

基于上述內容，本文有以下創新點：

1.本研究開發了一種基于深度學習(DL)的網絡，稱為PvmtTPNet，可以從圖像中自動識別路面類型，以促進全自動的路面狀況調查。PvmtTPNet實現了一個基于卷積神經網絡的體系結構來學習來自路面類別的圖像的特征。

2.采用校流線性單元(ReLUs)作為卷積層和全連通層的激活函數，可以進行快速有效的訓練，已成為現代深度學習神經網絡的默認激活函數。

Q4

文章是如何驗證和解決問題的?

為了評估獲得的PvmtTPNet在路面類型識別最佳時期的性能，2019年通過PaveVision3D系統對1號站點(靠近俄克拉荷馬城)和2號站點(靠近阿肯色州史密斯堡的I-540)進行了另外兩次現場數據收集。兩種數據采集的路徑如圖4所示。

圖4 模型評估的數據收集：

(a)Site1-I-35;(b)Site2-I-540

表2總結了PvmtTPNet對這兩個數據收集的實際和預測路面類型的詳細數量，并提供了每個站點的混淆矩陣。

表2 網絡評價中的混淆矩陣

在每個混淆矩陣中，沿對角線上的數字代表正確的預測，而其他數字表示對每個路面類別的準確預測。如表2所示，PvmtTPNet從準備的Site1的6311張圖像中獲得了5760個正確的預測，準確率為91.27%。對于Site2，PvmtTPNet做出了3,439個正確的預測，并達到了96.66%的準確率。此外，PvmtTPNet使用一個NVIDIAtitanVGPU卡對站點1和站點2的圖像進行預測需要16.33min和4.59min。因此，每幅圖像的平均處理時間為站點1的平均處理時間為155,212μs，站點2為77,452μs。如果野外數據采集速度為96.56km/h(60mi/h)，則需要18.55min和10.46min才能完成對這兩個地點的調查。因此，處理時間小于數據采集時間(站點1為16.33<18.55，站點2為4.59<10.46)。PvmtTPNet顯然有潛力使用最新的GPU從實時收集的2D圖像中預測路面類型，這將比研究中使用的GPU快幾倍。

Q5文章有什么可取和不足之處?

邏輯結構：本文的outline呈現在下文：

1. Introduction

說明了通過人工獲得路面狀況數據存在缺陷，因此，基于卷積神經網絡的圖像路面類型自動識別研究具有必要性。

2. Data preparation

介紹了本研究中使用的所有路面圖像來源，以及本文對PvmtTPNet進行訓練的對象。

3. Network Development

本研究開發了一種基于深度學習(DL)的網絡，稱為PvmtTPNet，可以從圖像中自動識別路面類型，以促進全自動的路面狀況調查。PvmtTPNet實現了一個基于卷積神經網絡的體系結構來學習來自路面類別的圖像的特征。

3.1 Methodology

介紹本研究采用CNN體系結構訓練所提出的PvmtTPNet的方法論。

3.2 Network Architecture

介紹PvmtTPNet的網絡體系結構。

3.3 Training Techniques

介紹PvmtTPNet網絡訓練的數據來源及訓練方法。

3.4 Training Results

展示網絡訓練和測試的分類精度和交叉熵損失。通過對訓練技術的選擇組合，測試數據的分類精度仍然接近于訓練數據的分類精度，表明該網絡中很少存在過擬合問題。

4. Network Evaluation

通過PaveVision3D系統對俄克拉荷馬城及靠近阿肯色州史密斯堡的I-540兩地進行數據采集，并且通過PvmtTPNet在路面類型識別的結果評估其在路面類型識別最佳時期的性能。

5. Discussion

目前，在數據收集過程中在橋上添加事件標記是從收集的圖像數據中排除橋段的常用方法。然而，這是對現場工作人員的估計，考慮到數據收集的高速速度，這可能會產生不準確的記錄。因此，在下一階段的工作中根據獲得的圖像判斷PvmtTPTet在橋面圖像的訓練效果。但是存在以下幾個方面的局限性：首先，從橋面上收集到的圖像還不夠多。眾所周知，DL訓練需要大量的訓練數據來達到所需的性能。其次，橋面的二維圖像并不總是包含該網絡學習的區別特征。

6. Conclusions

在這項研究中，一個基于卷積神經網絡的DL網絡，名為PvmtTPNet，通過訓練來識別人類的路面類型。2018年，利用PaveVision3D系統對俄克拉何馬州三種路面類型的瀝青混凝土路面、連接普通混凝土路面和不同條件和壓力的連續鋼筋混凝土路面進行了調查，編制了培訓數據庫。最后，總共制作了21000張2D路面圖像，而三種路面類型都有大約7000張圖像。每個2D圖像覆蓋了一個約4米寬和4米長的路面部分。通過所選擇的訓練技術，成功地訓練了網絡，沒有過擬合問題。在最優時期，網絡對路面類型識別的訓練和測試圖像的預測精度分別達到99.85%和98.37%。

應該注意的是，橋面的圖像沒有包括作為PvmtTPNet的一種路面類型。因此，未來的研究希望使用更多的數據集和可能更新的DL方法來識別橋梁。最后，還需要改進PvmtTPNet，以對剛性路面上的圖像產生更準確的預測。最終目標是達到接近100%的精度，以自動和高速識別瀝青和混凝土路面類型，以及其他表面類型，如橋面和復合材料。

從上述內容可以看出，本文主要采用縱式結構，以研究展開的順序先后介紹了數據處理，神經網絡開發，網絡訓練結果評估以及關于卷積神經網絡圖像路面類型自動識別的進一步發展。

研究方法：本文在研究的過程中，評估卷積神經網絡PvmtTPNet在收集的路面類型時的性能的方法非常詳細，并從多個角度驗證PvmtTPNet在預測這兩種數據時的收集效果。

圖5 PvmtTPNet在預測數據準確性評估公式

圖表形式：本文的圖表形式簡潔明了，沒有使用復雜的圖形表格，但是卻直觀展現了實驗結果。

分類精度和交叉熵損失的總結

網絡評估的混淆矩陣

文字表達：

表2總結了PvmtTPNet對這兩個數據收集的實際和預測路面類型的詳細數量，并為每個站點提供了混淆矩陣。

在圖像精度評價中，混淆矩陣主要用于比較分類結果和實際測得值，可以把分類結果的精度顯示在一個混淆矩陣里面。混淆矩陣是通過將每個實測像元的位置和分類與分類圖像中的相應位置和分類像比較計算的。混淆矩陣的每一列代表了實際測得信息，每一列中的數值等于實際測得像元在分類圖象中對應于相應類別的數量;混淆矩陣的每一行代表了遙感數據的分類信息，每一行中的數值等于遙感分類像元在實測像元相應類別中的數量。

圖6 作者在文中使用混淆矩陣的前后文

Q6文章對自身的研究有什么啟發?

本文主要研究通過卷積神經網絡對路面圖像類型自動識別。在使用充分的樣本驗證PvmtTPNet后，延伸探討了橋面的圖像沒有包括作為PvmtTPNet的一種路面類型，希望使用更多的數據集和可能更新的DL方法來識別橋梁。并且對PvmtTPNet進行改進，以對剛性路面上的圖像產生更準確的預測。延伸出在自動和高速識別瀝青和混凝土路面類型及復合材料方面的應用。

我們做科研也應該舉一反三，將自己的研究結果進行延伸，不要僅僅局限在當下的專業框架下，而是要去積極探索更多的可能性。

原文標題：基于卷積神經網絡的圖像路面類型自動識別

文章出處：【微信公眾號：機器視覺智能檢測】歡迎添加關注!文章轉載請注明出處。

審核編輯：湯梓紅