在 AI 邊緣計算領域，校企合作具有重要的意義。首先，AI 邊緣計算需要依托于硬件技術和軟件技術的雙重優勢，而高校和企業都擁有豐富的資源和技術實力，可以共同研發出更加先進的邊緣計算平臺和算法模型；其次，AI 邊緣計算涉及到大量的數據采集和處理，需要依托高性能計算和大數據技術，通過校企合作，雙方可以共同探索數據處理和分析的新方法，提高邊緣計算的效率和精度；最后，AI 邊緣計算需要依托于大量的專業人才，高校可以通過與企業合作，讓學生更好地了解企業的實際需求和行業發展趨勢，從而更好地指導學生的學習和研究方向。

在此背景下，天津科技大學電子信息與自動化學院郭肖勇老師和其指導的研究生，進行了很多積極且有意義的探索工作。他們目前正專注于工業場景下的 AI 邊緣計算應用。“在多數工業場景中，如建筑工地或者地鐵煤礦作業面，需要安裝大量的視頻監控設備，保證施工人員的安全和操作的規范。”郭肖勇老師說，“對于這些應用場景，在 GPU 服務器上部署模型存在成本高、網絡流量消耗大以及能耗較大的問題。因此，如何在邊緣系統中實現模型的部署，將各種傳感器采集的數據消化在邊緣，而只把有價值的分析結果發送回中心服務器，是一個有實際意義的研究方向。”

采用 Jetson Nano 開發施工安全監控系統

在工業場景中，目標檢測的意義主要在于實現自動化和提高生產效率，而深度學習已經成為目標檢測領域的主流算法。因為基于深度學習的算法能夠從單幀視頻畫面中識別出多個種類、不同距離的多個目標。并且，這種算法的準確度和魯棒性均大幅地高于傳統的計算機視覺算法。

“深度學習模型的前向推理需要有一定算力的硬件來支持。傳統的單片機或者工控機，由于計算資源十分有限難以滿足需求。這也是長久以來很多深度學習領域內的科研成果無法落地、轉化為生產力的一個主要原因。”郭肖勇老師介紹，“NVIDIA 推出的面向嵌入式領域的Jetson 平臺，正好解決了這一難題。與其它的嵌入式系統相比，Jetson 平臺上搭載的通用GPU（GPGPU）不僅可以實現深度學習模型的部署，也可以實現其它各種算法或程序所需的高性能并行計算。更重要的是，NVIDIA 為 Jetson 平臺的開發提供了全套的 SDK 和開發者社區以及完整的生態系統，這樣不僅幫助開發者有效地避坑避雷，也極大地節約了學習的時間成本。”

基于 Jetson 平臺，郭老師團隊開發了 Thrust Nano 5G 施工安全監控系統。該系統采用Jetson Nano模塊作為計算核心。考慮到生產過程中環境復雜，為了保護脆弱的計算芯片，產品內使用了穩壓電源、銅制導熱板、全沖壓金屬外殼等手段。而為了與外部設備連接以構成計算網絡，又引入了以太網接口和 4G/5G 物聯網卡。同樣，為了適用于更多的應用場景，系統還增加一對內置的音量大小可調節的音箱。在軟件方面，程序全部使用 Python 開發，并對關鍵部分的代碼用 Numba 進行加速，以提高程序的性能。內置的深度學習模型全部基于NVIDIA TensorRT SDK和DeepStream SDK進行優化和部署，這使得模型推理速度遠遠大于基于 PyTorch 或者 TensorFlow 的同類產品。此外，系統也支持方便靈活的二次開發，支持快速模型迭代。

應對復雜作業場景

“大部分的工業場景都很復雜，比如食品倉儲、建筑工地和港口堆場，通常有大量的人員、車輛和貨物等。”郭老師解釋說，“在這些場景中通常有大量的潛在目標，對模型的要求很高，因此部署的模型必須盡量減少誤識別或者漏識別的情況。過多的誤識別會導致過多的誤報警，這樣會擾亂用戶正常的操作。另一方面過多的漏識別則會讓產品失去了應用的價值。”

基于 Jetson Nano 模塊開發的 Thrust Nano 5G 施工安全監控系統可以部署各種主流的深度目標檢測模型，例如：YOLO v3-v5 系列模型以及 SSD_Mobilenet 系列模型。

另一方面，在某些場景中目標移動速度較快，對模型的推理速度有很高的要求。為了應對推理速度的要求，在模型的部署和優化方面，郭老師首先使用自適應剪枝算法，對訓練好的模型進行剪枝，然后再利用 TensorRT 對模型進行層融合和量化。最后，利用 DeepStream SDK 進行部署，從而實現視頻流解碼——多流混合——模型推理——視頻流推流等各個環節的CUDA優化和 GPU 加速。與使用 OpenCV+TensorFlow 或 PyTroch 等框架的部署方案相比，基于 TensorRT 和 DeepStream 的部署方案模型推理速度可提升 10-20 倍。

目前郭老師團隊基于這套方案，成功開發了盾構隧道電瓶車引導及預警系統、堆場作業車輛安全系統、拉絲機工作狀態檢測、集裝箱開關門狀態檢測、空盤車狀態檢測、超遠距離目標檢測及電子圍欄等應用。

“某一項技術如果沒法走出實驗室，那終究也將是紙上談兵曇花一現。Jetson 平臺及其開發工具提供了一種高效的模型部署方案，讓論文中的代碼和模型可以更好地走進生產和生活中。”郭老師表示。

郭老師最后說道：“作為 NVIDIA Jetson 開發者，我建議您不僅要熟練掌握 Jetson 平臺的技術和開發工具，還應該了解實際的工業場景需求，并積極參與業界的合作。隨著人工智能技術的快速發展，越來越多的企業和組織開始將其應用于實際的工業場景中，如自動駕駛、智能制造、智能家居等領域。因此，了解這些領域的需求和挑戰，可以幫助您更好地開發出適合實際應用的人工智能解決方案。”

審核編輯：湯梓紅