美林?jǐn)?shù)據(jù)技術(shù)專家團(tuán)隊(duì)|基于邊緣智能的作業(yè)現(xiàn)場安全落地實(shí)踐
2022-07-08 14:01:42
次
引言
隨著企業(yè)信息化、數(shù)字化、智能化進(jìn)程的不斷推進(jìn)，以人工智能為基礎(chǔ)的視頻智能識別分析，作用于施工作業(yè)現(xiàn)場人員的安全管控，成為一種更加精準(zhǔn)、高效的方式。
傳統(tǒng)基于監(jiān)控的事后人工核查方式，存在時空覆蓋不全，易造成漏查、未查等問題，基于邊緣智能的視頻分析技術(shù)，借助邊緣計算設(shè)備，在監(jiān)控源頭提供近端智能分析服務(wù)，實(shí)現(xiàn)對違章行為的實(shí)時識別分析，智能化的解析出具體違章信息及人員信息，從而將視頻這種非結(jié)構(gòu)數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，為后續(xù)決策分析提供基礎(chǔ)。本文結(jié)合某廠房作業(yè)現(xiàn)場安全場景，介紹基于邊緣智能的作業(yè)現(xiàn)場安全落地相關(guān)實(shí)踐。
整體框架概述
本次檢測識別模型包括安全帽檢測、安全帶檢測、抽煙檢測和人臉識別，基于邊緣硬件可對視頻流進(jìn)行實(shí)時分析，智能識別現(xiàn)場違規(guī)行為，并將違規(guī)行為的結(jié)構(gòu)化信息和違規(guī)圖片，上傳至安全預(yù)警管控服務(wù)器進(jìn)行存儲和展示，同時實(shí)現(xiàn)告警信息與現(xiàn)場告警喇叭的聯(lián)動，實(shí)現(xiàn)現(xiàn)場違規(guī)行為的實(shí)時告警，整體部署框架如下圖所示：
關(guān)鍵技術(shù)概述
由于廠房區(qū)域比較開闊及設(shè)備多樣，常規(guī)基于槍機(jī)的采集方法及通用模型檢測方式，會對模型檢測精度產(chǎn)生較大影響。在實(shí)際場景落地時，除了模型本身調(diào)優(yōu)之外，我們從PTZ跟蹤變焦、事件檢測和小目標(biāo)檢測技術(shù)來保證模型檢測精度，同時配合模型調(diào)度來保證多模型并發(fā)執(zhí)行效率。
?PTZ跟蹤變焦
PTZ跟蹤變焦采用?？等Y(jié)構(gòu)化雙800萬全局?jǐn)z像頭實(shí)現(xiàn)，當(dāng)全景攝像頭檢測到人員進(jìn)入時，會啟動對人員的跟蹤，同時聯(lián)動球機(jī)變焦，對人員進(jìn)行連續(xù)抓拍，示意如下：
另，對于場景中有多個對象時，會將跟蹤對象放入隊(duì)列中，通過輪詢的方式實(shí)現(xiàn)對多人的跟蹤抓拍。由于全景攝像頭和細(xì)節(jié)球機(jī)坐標(biāo)系不同，而在后續(xù)檢測結(jié)果合并時，需要將檢測結(jié)果轉(zhuǎn)換到統(tǒng)一坐標(biāo)中，因此需在獲取抓拍圖片時記錄相應(yīng)的坐標(biāo)信息。
通過跟蹤變焦，可以實(shí)現(xiàn)遠(yuǎn)距離目標(biāo)的清晰抓拍，為后續(xù)遠(yuǎn)距離人臉識別、小目標(biāo)抽煙檢測等檢測模型提供高質(zhì)量的數(shù)據(jù)，從數(shù)據(jù)層面來保證模型的檢測精度。
?事件檢測
事件檢測將傳統(tǒng)基于單幀的檢測方式轉(zhuǎn)換為基于多幀的決策，以減少模型誤判，保證模型的檢測精度。傳統(tǒng)單幀的檢測方式嚴(yán)重依賴模型的效果，一旦模型出現(xiàn)誤判，無法自我糾正；而基于多幀決策的方式，將多幀的結(jié)果進(jìn)行匯總，并依據(jù)統(tǒng)計來判定是否為違規(guī)異常，從而大幅度較少模型的誤判，同時降低了模型學(xué)習(xí)優(yōu)化的難度。
事件檢測基于內(nèi)存數(shù)據(jù)庫實(shí)現(xiàn)對檢測結(jié)果的增刪改查，同時防止模型在檢測到異常時，不間斷觸發(fā)報警的情況，并可通過定時器來控制報警間隔。
小目標(biāo)檢測基于兩階段檢測方式實(shí)現(xiàn)，以抽煙模型為例，示意如下：
基于兩階段的抽煙檢測流程，如上圖所示，第一階段采用基于Yolov4-tiny的手檢測模型，從整幅圖片中定位出手所在的區(qū)域，這樣可極大減少后續(xù)煙支檢測的計算量；第二階段，考慮到目標(biāo)本身所包含的判別信息，采用語義分割模型來對煙支所在區(qū)域的像素進(jìn)行區(qū)分，判斷是否有煙的存在，最終，完成抽煙的判定。通過這種方式，從流程上來保證模型的檢測精度。
?模型調(diào)度
模型調(diào)度采用TritonServer推理框架，其可以動態(tài)加載模型庫中的相關(guān)模型，實(shí)現(xiàn)多模型對GPU資源的調(diào)用和熱更新，客戶端通過HTTP方式實(shí)現(xiàn)模型服務(wù)的調(diào)用。本次落地后端實(shí)現(xiàn)框架包含TensorRT和C++，故借助其多后端支撐能力，實(shí)現(xiàn)基于C++backends擴(kuò)展模型服務(wù)，從而實(shí)現(xiàn)多模型推理的部署調(diào)用，保證模型的服務(wù)能力。
綜上，針對作業(yè)現(xiàn)場安全管控，聚焦作業(yè)面積大、環(huán)境復(fù)雜、需實(shí)時告警等問題，借助PTZ變焦跟蹤、事件檢測、小目標(biāo)檢測技術(shù)，從數(shù)據(jù)質(zhì)量、業(yè)務(wù)流程、檢測流程上來保障模型檢測精度，同時結(jié)合邊緣設(shè)備和TritonServer推理框架，實(shí)現(xiàn)邊緣端多模型服務(wù)部署，以支撐作業(yè)現(xiàn)場多攝像頭、多模型實(shí)時違章檢測。在保障現(xiàn)場安全的同時，將視頻這種非結(jié)構(gòu)數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，為后續(xù)決策分析提供數(shù)據(jù)基礎(chǔ)。
Tempo商業(yè)智能平臺
Tempo人工智能平臺
Tempo數(shù)據(jù)工廠平臺
Tempo指標(biāo)平臺
Tempo數(shù)據(jù)治理平臺
Tempo主數(shù)據(jù)管理平臺
首頁
美林?jǐn)?shù)據(jù)
美林新聞
陜公網(wǎng)安備 61019002000171號
