當前,中國正在大力推進包括人工智能、5G和工業物聯網在內的新基礎設施建設,為智慧城市的發展注入新動能。其中,城市的智能交通是至關重要的組成部分。通過對于人工智能、計算機視覺、云計算和大數據等技術的融合應用,智能交通管理系統將使得道路使用者(人與各種車輛)與道路交通設施和諧互動,有助于提升交通安全與效率(包括緩解交通擁堵),從而改善人民的出行體驗。

面向智能交通管理的應用場景,深圳市新創中天信息科技發展有限公司(以下簡稱:新創中天)推出了基于英特爾?AI計算機視覺的智能交通路側視頻邊緣計算設備(以下簡稱:路側視頻邊緣計算設備),適用于交通路口、城市道路以及高速公路等不同的場景。部署在網絡邊緣的該設備搭載了英特爾?賽揚?系列CPU(Central Processing Unit:中央處理器)和英特爾?Movidius?Myriad? X VPU(Vision Processing Unit:視覺處理器),并基于 OpenVINO? 工具套件快速進行高性能AI計算機視覺算法開發,實現了優異的性能。以城市中的交通路口為例,該設備能夠實現對于機動車(包括特種車輛)、非機動車、行人、交通信號燈、路面交通標識、交通流量狀態和交通事件等的檢測和識別,并為路側交通基礎設施設備(如交通信號紅綠燈等)的自動控制提供相關視頻檢測分析數據。

背景:基于“端-邊-云”架構的智能交通管理系統

充分提升交通安全與效率,除了改善城市空間布局、提升道路供給等措施之外,還需積極發展基于“端-邊-云”架構的先進智能交通管理系統。如圖1所示,這一系統的核心理念是基于在端側對于交通狀況的全面感知、在邊緣和云對交通數據的精準綜合分析以及對路側交通基礎設施的實時控制,從而完成豐富多樣的智能交通管理功能。

圖1. 智能交通管理系統"端-邊-云"整體系統架構

在這一智能交通管理系統中,基于邊緣計算與AI計算機視覺的路側視頻邊緣計算設備是極為重要的基礎性設備。該設備負責對路側感知設備如相機所采集的視覺信息(包括視頻和圖像)進行實時計算分析,并在必要時與位于云端的控制中心進行數據交互,將優化的信號相位和配時方案輸入給路側的交通信號控制機。結合其它的輸入信號,交通信號控制機通過其特定的算法確定最終的相位和配時方案,對路口的交通信號燈進行控制。

相較于傳統的感應線圈、磁力計以及激光雷達等檢測技術,基于各種相機采集信息的AI計算機視覺技術用于交通目標、狀態和事件的檢測和分析具有顯著的成本優勢,非常適合大規模的部署。除了交通路況信息,該設備還可以感知天氣(如雨、雪、霧)等環境信息,并將這些信息和本地分析的結果上傳至控制中心,作進一步的處理。該設備的普及,有助于全面提升交通安全與效率。

挑戰:面向智能交通管理的邊緣計算設備

路側視頻邊緣計算設備需要實現對于機動車(包括特種車輛)、非機動車、行人、交通信號燈、路面交通標識、交通流量狀態和交通事件等的檢測和識別,因此需要連接多種相機(包括電警相機、卡口相機、交通流量檢測相機、路口監控球機和行人檢測相機)以收集所需的視頻信息。

電警相機:主要用于拍攝車輛尾部,識別車牌號碼等車輛信息;通常安裝在電警桿(距離停止線20-25米)上;1臺相機能覆蓋1-3條車道。卡口相機:主要用于拍攝車輛前部,識別車牌號碼等車輛信息;通常安裝在電警桿上;1臺相機能覆蓋1-3條車道。

交通流量檢測相機:主要用于拍攝車輛前部或尾部,檢測車流量、車道占有時間、排隊長度、擁堵路況等,將檢測分析數據提供給交通信號控制機,用于交通信號的相位和配時優化;通常安裝在電警桿或者交通信號燈桿上;1臺相機覆蓋4-8車道。路口監控球形相機:主要用于監控路口,也可用于路口下行的反溢(擁堵)檢測;可以通過遠程控制隨時改變拍攝方向和焦距;通常安裝在電警桿上。

行人檢測相機:主要用于檢測行人等待區和斑馬線上的行人;通常安裝在行人信號燈燈桿或附近路側設施上。該設備是事關交通安全的關鍵設備,在實際的部署和使用中,需要解決來自于低成本與低功耗限制下的數據處理性能、可靠穩定性、連接和兼容能力等多方面的技術挑戰。

該設備承擔著多路相機的視頻編解碼、基于深度學習計算機視覺的車輛和行人實時檢測和分析、車流量和人流量的實時分析、路口交通信號燈的相位和配時分析等負載。該設備的性能主要體現在可同時處理的視頻通道數、處理時延和準確率。因為涉及到對交通信號燈的控制,處理時延和準確率對于確保交通安全尤為重要。對于作為最終用戶的交通管理部門而言,性能還體現在交通安全與效率的提升。該設備性能的提升,對于芯片的處理能力提出了新的挑戰,同時也要滿足客戶對整體設備成本和功耗的要求,因此需要高性價比和高能效比的芯片產品和系統架構設計。

該設備大多部署于環境惡劣的道路周邊,溫度和濕度的變化劇烈,外物沖擊等司空見慣。這就要求該設備具有極強的環境適應能力,能夠適應溫度和濕度的變化,具備防水、防塵、防腐蝕和防震動沖擊等能力,同時還需具備出色的電磁兼容和抗干擾能力,以確保在整個產品生命周期內不間斷地提供穩定可靠的服務。

該設備需要連接多種相機和交通信號控制機等路側設備,并能與本文中提到的各種智能交通管理子系統進行數據交互。因此它的連接和兼容能力對整體性能至關重要。

新創中天?路側視頻邊緣計算設備搭載了英特爾?賽揚?CPU和英特爾?Movidius? Myriad? X VPU,擁有傳統計算機視覺和基于深度學習的計算機視覺的強大處理能力。其硬件與軟件架構分別如圖2和圖3所示。用于自動交通信號控制時,其與其它設備的連接如圖4所示。

圖2. 路側視頻邊緣計算設備硬件架構

圖3. 路側視頻邊緣計算設備軟件架構

圖4. 用于自動交通信號控制的路側視頻邊緣計算設備

英特爾?賽揚?系列CPU具備業界領先的性能,支持不同的操作系統,能夠滿足廣泛的業務需求。這一系列CPU不僅具備較強的計算能力,還具備高性價比、高能效比和安全可靠等優點。該處理器內嵌了英特爾?核芯顯卡,具備較強的視頻編碼和解碼處理能力。基于這一處理器的路側視頻邊緣計算設備不但充分勝任對相關數據的計算、存儲與轉發,以及對各種所連接設備的控制等功能需求,還具備低成本與低功耗的顯著優勢。

Myriad? X VPU 是英特爾第一個包含神經計算引擎(用于深度神經網絡推理的專用硬件加速器)的視覺處理器。神經計算引擎結合 16 個強大的 SHAVE 內核和高吞吐量智能內存結構,使得Myriad? X VPU成為設備上深度神經網絡和計算機視覺應用的理想選擇。Myriad? X VPU可以使用 OpenVINO? 工具套件的英特爾分發版編程,從而將神經網絡移植到邊緣,還可以通過包含所有必要開發工具、框架和 API 的 Myriad 開發套件 (MDK: Myriad Development Kit) 編程,用于在芯片上實現自定義視覺、成像和深度神經網絡工作負載。在實際應用中,Myriad? X VPU展現出了算力強且功耗低等獨特優勢。

新創中天正在使用 OpenVINO? 工具套件來提升視頻檢測和分析等算法的準確度,加速推理時間,并節約算力資源。OpenVINO? 工具套件是源自英特爾的一款功能非常全面的優秀軟件工具套件,支持快速開發豐富多樣的應用和解決方案,來模擬人類的視覺 [1][2][3]。該工具套件基于卷積神經網絡 (CNN: Convolutional Neural Network),可在多種英特爾? 硬件中擴展計算機視覺 (CV: Computer Vision) 的工作負載,實現卓越性能。OpenVINO? 工具套件支持傳統計算機視覺和基于深度學習的計算機視覺的豐富多樣的應用,其主要包含的功能模塊如圖5所示。

圖5. OpenVINO?工具套件的主要功能模塊

支持跨英特爾?深度學習推理加速器的異構執行,將通用 API 用于英特爾的不同硬件平臺,包括CPU、集成顯卡、包含有英特爾?Movidius? VPU的神經計算棒和英特爾? HDDL視覺處理加速卡、FPGA等等,可幫助客戶實現跨架構的算法移植和優化；通過易于使用的計算機視覺函數庫和預優化的內核,加快產品開發和上市速度;包括針對計算機視覺的標準優化調用,包括 OpenCV、OpenCL和 OpenVX。

除了使用OpenVINO? 工具套件中的AI計算機視覺功能之外,路側視頻邊緣計算設備還用到了其中的英特爾?Media SDK,支持在英特爾?集成顯卡上進行高性能的視頻編碼和解碼。

得益于英特爾?賽揚?系列CPU和Myriad? X VPU提供的強大通用計算和AI計算機視覺推理能力,該設備能夠對前文提到的各種相機采集的視頻或圖像信息進行處理,對視頻畫面中的車輛和行人進行位置坐標標定,能夠實現對于機動車(包括特種車輛)、非機動車、行人、交通信號燈、路面交通標識、交通流量狀態和交通事件等的檢測和識別。以交通流量狀態為例,該設備能夠實時檢測每條車道和每輛車的狀態數據,包括每個車道的車輛進入/離開狀態、車道占有時間、過車總數量、過車速度、區域內實時車輛數目、最后一輛車的位置、車隊長度和車型分類等關鍵數據信息。該設備可進一步對檢測數據進行統計分析。

新創中天研發總工程師周長軍表示:“路側視頻邊緣計算設備是智能交通管理的重要基礎性設備,能夠全面增強交通管理部門對于交通路況的感知能力,并基于對實時數據的分析進行高效管理,從而提升交通安全與效率。除了對于機動車(包括特種車輛)、非機動車、行人、交通信號燈、路面交通標識、交通流量狀態和交通事件等的檢測和識別之外,我們還將進一步增加對道路路面狀態和天氣等的檢測功能,滿足更精細化和更有預見性的交通管理需求。”

目前,基于英特爾?AI計算機視覺的新創中天?路側視頻邊緣計算設備已經在北京、江西和山東等省市實現了廣泛的部署。在用戶實踐中,該設備展現了以下顯著的優勢:通過充分利用英特爾的各類芯片產品的出色多媒體處理能力,深度學習加速能力,以及多任務多進程的處理能力,該設備最多可以同時處理12路視頻,可以實現基于深度學習的車輛和行人實時檢測和分析,車流量和人流量的實時分析,為智能交通管理及時提供相關數據。

另外,該設備將視頻處理負載轉移到了邊緣端,能夠有效降低時延,緩解網絡轉發原始視頻信息的帶寬壓力和中心處理服務器的負載壓力,更好地保障信息安全,并能為未來拓展基于位置的服務。

得益于AI計算機視覺核心算法的創新,以及對于英特爾硬件和軟件潛能的充分挖掘,該設備可以精確檢測和分析視頻采集測覆蓋區域內每輛車的特征信息和每條車道上的交通狀態,并根據這些分析數據精細化控制交通信號燈等系統。該設備還可以通過視頻檢測不同車型,提供如特種車輛(救護車或消防車)和公交車輛優先通行等多種新業務。

fqj