AI視頻智能分析在明櫥亮灶/冷庫智慧監管的應用

1. 背景介紹

【背景一】2015年5月******針對食品問題發表“四個最嚴”要求，“讓人民群眾吃得安全放心”。2016年1月中共中央政治局常委、國務院總理李克強作出批示指出各級政府要堅持人民利益至上，切實發揮食安委統一領導、綜合協調作用，以改革精神和法治思維，堅定實施食品安全戰略，加快健全從中央到地方直至基層的權威監管體系，落實最嚴格的全程監管制度，嚴把從農田到餐桌的每一道防線，對違法違規行為零容忍、出快手、下重拳，切實保障人民群眾身體健康和生命安全。

2019年5月20日，中共中央國務院發布《關于深化改革加強食品安全工作的意見》，提出了兩個目標，六項原則。兩個目標：其一，到2020年，初步建立基于風險分析和供應鏈管理的食品安全監管體系。其二，到2035年，基本實現食品安全領域國家治理體系和治理能力現代化。六項原則：堅持安全第一、堅持問題導向、堅持預防為主、堅持依法監管、堅持改革創新、堅持共治共享。

【背景二】根據國家和各地方關于新冠肺炎疫情常態化防控工作部署，為全面貫徹落實“外防輸入，內防反彈”、“人物同防”的總體策略，切實做好進口冷鏈食品全流程各環節新冠肺炎疫情常態化防控工作。

貫徹落實《國務院應對新型冠狀病毒感染肺炎疫情聯防聯控機制關于做好新冠肺炎疫情常態化防控工作的指導意見》《新型冠狀病毒肺炎疫情防控指揮部關于做好新冠肺炎疫情常態化防控工作的實施意見》有關要求，堅持科學合理、適度管用、突出重點、分類施策的常態化防控原則，結合國家和省分區分級管控標準，堅定信心、同舟共濟、科學防治、精準施策，毫不懈怠抓好進口冷鏈食品常態化疫情防控各項工作。

2021年11月14日，據新浪財經報告，大連累計報告新冠肺炎確證病例235例，主要傳播鏈都是定點冷庫/餐飲單位的相關的食品公司。2021年12月廣東攔截14起冷鏈食品陽性事件。新冠疫情下，多批次輸入性冷凍產品檢測出病毒，相關食品從業人員風險加大，整體管控易出現風險漏洞。

主管部門缺少智慧化集中監控監管手段，監測效能及風險管控能力亟待提升。

國家市場監督管理總局及各地市場監管局，相續出臺政策強化冷鏈運輸監管，強化冷鏈運輸環節疫情防控手段。

【背景三】相關政策支持文件：《中華人民共和國食品安全法》、《餐飲服務明廚亮灶管理辦法》、《企業食品安全與營養健康管理規定》、《國務院關于積極推進“互聯網+”行動的指導意見》、《校園食品安全守護行動方案（2020—2022年）》。

2. 需求分析

根據國家市場監管總局政策文件，各地冷鏈進口集中監管倉，入倉查驗區、核酸采樣、消毒、裝卸貨等關鍵點安裝AI抓拍識別設備，各地視頻流數據、AI報警數據上報到國家市場監管總局。

擬對全省/全市所有冷庫集中監管倉/餐飲單位部署AI分析，實現視頻互聯互通、AI數據上報、AI語音預警提醒等功能。

【視頻聯網互聯互通】冷庫/餐飲單位視頻監控可通過AI接入網關無縫接入，AI接入網關可通過互聯網、VPN或專線聯網，云端AIoT管理平臺通過GB28181協議與以及云邊協同，實現AI分析預警，互聯互通，可實現區/縣、市、省視頻監控互聯互通，滿足監管需求以及向社會面開放需求。

3. 功能檢測

算法功能檢測、識別預警

【未戴口罩識別預警】

冷庫區域的網絡攝像機通過冷庫AI接入網關，以及AIoT平臺“云+邊協同”實現AI智能分析，實現對工作人員是否戴口罩情況進行實時檢測，工作人員在工作時間段出現未戴口罩情況自動產生報警，上報到平臺

【未戴帽子識別預警】

冷庫區域的網絡攝像機通過冷庫AI接入網關，以及AIoT平臺“云+邊協同”實現AI智能分析，實現對工作人員是否戴帽子情況進行實時檢測，工作人員在工作時間段出現未戴帽子情況自動產生報警，上報到平臺

【未穿防護服識別預警】

冷庫區域的網絡攝像機通過冷庫AI接入網關，以及AIoT平臺“云+邊協同”實現AI智能分析，實現對工作人員是否穿防護服情況進行實時檢測，工作人員在工作時間段出現未穿防護服情況自動產生報警，上報到平臺

【老鼠識別預警】

冷庫區域的網絡攝像機通過冷庫AI接入網關，以及AIoT平臺“云+邊協同”實現AI智能分析，實現對冷庫存儲區域鼠患情況實時檢測，當發現老鼠出沒情況自動產生報警，上報到平臺

【貨柜號識別】

冷庫區域的網絡攝像機通過“冷庫AI接入網關+AIoT平臺云邊協同”，實現對冷鏈運輸車的貨柜號實時檢測，貨柜編碼上報到平臺

【未戴廚師帽識別預警】

廚房區域的網絡攝像機通過AI邊緣計算盒，實現對工作人員是否戴廚師帽情況進行實時檢測，工作人員在工作時間段出現未戴廚師帽情況自動產生報警，上報到平臺

【未穿廚師服識別預警】

廚房區域的網絡攝像機通過AI邊緣計算盒，實現對工作人員是否穿白色廚師服情況進行實時檢測，工作人員在工作時間段出現未穿白色廚師服情況自動產生報警，上報到平臺

【抽煙識別預警】

廚房區域的網絡攝像機通過AI邊緣計算盒，實現對工作人員是否抽煙情況進行實時檢測，工作人員在工作時間段出現抽煙情況自動產生報警，上報到平臺

【打電話識別預警】

廚房區域的網絡攝像機通過AI邊緣計算盒，實現對工作人員是否打電話情況進行實時檢測，工作人員在工作時間段出現打電話情況自動產生報警，上報到平臺

4. 建設方案

【組網架構】

如圖，我司AI冷庫/餐飲單位監管解決方案包括：前端網絡攝像機，AI接入網關、云端AIoT管理平臺、云AI服務引擎、流媒體服務組成。針對前端可部署AI接入網關，可通過RTSP、Onvif協議接入已建或新建的網絡攝像機。AI接入網關可對視頻流進行實時分析（未戴口罩、未戴帽子、未穿防護服、貨柜號、老鼠識別、未戴廚師帽、未穿廚師服、抽煙識別、打電話識別）。AI接入網關可通過互聯網/專網/VPN鏈路與云端AIoT管理平臺、流媒體服務器互聯互通，云管理平臺可部署于公有云或政務云。AIot管理平臺實現邊緣端AI設備統一管理，實現AI算法云端實時分析，算法自學習，并可實現云端算法自定義，云端算法模型一鍵下發等功能，流媒體服務可實現十萬級以上高清視頻點播。

【邏輯構架】

如圖，AI+監管產品邏輯構成：AI智能硬件、AI算法、AI系統平臺組成。AI硬件有AI接入網關，以及云端AI分析引擎服務器組成。AI算法部署于云AI分析引擎，依托硬件NPU+GPU算力單元實現對視頻流/圖片流AI分析。算法層包括：未戴口罩、未戴帽子、未穿防護服、貨柜號、老鼠識別等。并且云端AI管理平臺包括云管理、云算法可支持云算法自我學習，平臺實現AI策略管理、AI報警查詢、視頻回放、系統管理、以及流媒體分布式部署，實現云端管理。

5. 前端概述

前端指冷庫集中倉端/餐飲企業，本部分介紹相關系統要求設計。

【前端組成】

【布點要求】攝像機要求200W像素以上，角度要求上下角度在15度以內，左右角度在30度以內（眉尖可見），圖像質量要求聚焦清晰，光照均勻，特別注意避免逆光、側光，必要時進行補光。

【錄像存儲】選用200W高清網絡攝像機按照2M碼流計算，存儲可選配。

4路30天錄像存儲大小=2M）÷8×3600（秒）×24（小時）×3×30/1024/1024≈3TB

8路30天錄像存儲大小=3.6（M）÷8×3600（秒）×24（小時）×7×30/1024/1024≈6TB

6. 算法設計

【算法概述】

（1）業務需求分析

在正式啟動訓練模型之前，需要有效分析和拆解的業務需求，明確模型類型如何選擇。

監控人員在崗是否按規定穿戴口罩、帽子、防護服——通過目標檢測模型和分類模型進行判斷。戴口罩和帽子是兩個屬性，若采用單屬性進行二分類會增加計算的負擔（需要兩個分類模型分開運算），這里采用多屬性的分類模型。

監控是否鼠患嚴重——由于老鼠目標太小，深度學習策略可能會失效，即使成功也會消耗大量的計算資源，這里采用傳統的檢測目標策略加上分類模型進一步篩選判斷。

（2）采集/收集數據

在通過第一步分析的基本模型類型，需要進行相應的數據收集工作，如采集工作人員人臉數據注冊，用于上崗情況分析。數據的主要原則為盡可能采集真實場景一致的數據，并覆蓋可能有的各種情況，如戴帽子和戴口罩的判斷要包含五種情況：A.戴了帽子和口罩、B.戴了帽子沒戴口罩、C.沒戴帽子戴了口罩、D.沒戴帽子沒戴口罩和E.無法判斷。

（3）標注數據

剛開始采集少量數據（圖片或者視頻流）后，通過人工使用標注工具對已有的數據進行標注。如檢測是否有老鼠的分類模型，需要將監控視頻抽幀后的圖片按照A.有和B.沒有兩類進行整理。如穿戴檢測，直接用目標檢測算法檢測穿戴情況可靠性低，容易出現定位不準且分類準確性差?？紤]到實際應用場景實時性要求不高，對準確性要求高，采用折中的辦法：先以人形作為檢測目標，進行打標，然后分析單人的情況（目前有單人口罩和帽子的穿戴分析），準確率得到提高，代價是犧牲了一點檢測速度。訓練的模型在現場部署后可采取更多的標注后的數據，再經過人工的精篩選數據，又可用于下一輪的模型訓練。

（4）訓練模型

訓練模型階段可以將已有標注好的數據基于在業務分析階段確定的初步模型類型，在云端選擇算法進行訓練。

（5）評估模型效果

訓練后的模型在正式集成之前，需要評估模型效果是否可用。以穿戴和老鼠檢測為例。

穿戴檢測模型評估項有：A.識別人員數量百分比；B.帽子正確識別百分比；C.口罩正確識別百分比；D.整體平均識別正確率。

老鼠檢測模型評估項有：A.老鼠正確識別的百分比。

（6）云端算法模型維護

【算法機制】