從20世紀90年代開始,美(mei)國VSAM 項目中進(jin)行視頻監控的(de)(de)數據(ju)化(hua)研究以來,視頻監控的(de)(de)智(zhi)(zhi)能化(hua)經過了20多(duo)年的(de)(de)發(fa)展,智(zhi)(zhi)能分析技術也從傳統的(de)(de)模式(shi)識(shi)(shi)別(bie),到(dao)機器學習,再到(dao)現(xian)在家喻戶曉的(de)(de)深(shen)度(du)學習,經歷(li)多(duo)個階段(duan)的(de)(de)發(fa)展。而當前深(shen)度(du)學習逐(zhu)漸(jian)成熟,讓很多(duo)曾經未達(da)實用(yong)(yong)階段(duan)的(de)(de)應用(yong)(yong)逐(zhu)漸(jian)具(ju)備了可用(yong)(yong)性(xing),典型(xing)如智(zhi)(zhi)能識(shi)(shi)別(bie)、高(gao)密度(du)人員統計;也讓很多(duo)已(yi)經成熟的(de)(de)應用(yong)(yong)具(ju)有更高(gao)的(de)(de)準確度(du),如車牌(pai)、車型(xing)識(shi)(shi)別(bie)、行為識(shi)(shi)別(bie)等(deng)等(deng)。
行業應用現狀
國(guo)內的(de)(de)視(shi)頻(pin)(pin)監(jian)(jian)控從2006前后(hou)開(kai)始(shi)“安防IT 化(hua)”以來(lai),視(shi)頻(pin)(pin)監(jian)(jian)控的(de)(de)規模(mo)呈(cheng)現(xian)(xian)了(le)快速擴展的(de)(de)勢頭,這在(zai)模(mo)擬時代是無法想象的(de)(de)。視(shi)頻(pin)(pin)監(jian)(jian)控規模(mo)的(de)(de)擴大,已(yi)經讓使用者意(yi)識到單靠人眼(yan)去監(jian)(jian)控所有視(shi)頻(pin)(pin)或者在(zai)事后(hou)去追查錄(lu)像都(dou)是基本不可能的(de)(de)事情了(le)。2009 ~ 2010年國(guo)內視(shi)頻(pin)(pin)監(jian)(jian)控發展較好的(de)(de)地區如浙江,就開(kai)始(shi)出(chu)現(xian)(xian)了(le)如何(he)更好地應用視(shi)頻(pin)(pin)的(de)(de)需(xu)求聲音。
長期(qi)從事智慧城(cheng)市建設、自(zi)動化監(jian)控研究的王汝琳教授就(jiu)提出,當時的視頻監(jian)控業界(jie)存在“看不(bu)清(qing)(qing)、調不(bu)出、提取難、檢(jian)索慢”的問題(ti),對應的也就(jiu)出現了三大趨勢——網絡化、高清(qing)(qing)化、智能(neng)化。
從2010年前后起,智(zhi)能(neng)(neng)分析已經在(zai)(zai)慢慢應(ying)用(yong)到監(jian)控(kong)和智(zhi)能(neng)(neng)交通(tong)的行(xing)業中(zhong)(zhong)來,其(qi)中(zhong)(zhong)最早形成規模應(ying)用(yong)的是車牌識別的功能(neng)(neng),到2013年非現場執法設備在(zai)(zai)全國就(jiu)在(zai)(zai)如(ru)火(huo)如(ru)荼地展開,三大監(jian)控(kong)巨頭在(zai)(zai)那個時候大力切入到智(zhi)能(neng)(neng)交通(tong)行(xing)業,導致了(le)這個行(xing)業的洗牌。
近年(nian)來,智能的(de)應用快速擴(kuo)展(zhan)到很(hen)多方面,如人的(de)行為(wei)(wei)識別(bie)、車(che)輛的(de)異(yi)常行為(wei)(wei)檢測、儀表(biao)識別(bie)、智能識別(bie)、車(che)臉識別(bie),還(huan)有通(tong)用監(jian)控視(shi)頻(pin)的(de)結構化分析(xi)等,大有遍(bian)地花開(kai)之勢。其中,智能識別(bie)和視(shi)頻(pin)的(de)結構化分析(xi)是2017年(nian)以(yi)來特別(bie)火的(de)業務,發(fa)展(zhan)也最快。
視頻分析的本質目標
視(shi)(shi)(shi)頻分(fen)析的(de)本質目標(biao),就是視(shi)(shi)(shi)頻的(de)語義化,使視(shi)(shi)(shi)頻更好(hao)被檢索到(dao),被精確調閱(yue)到(dao),解決(jue)人眼長期(qi)看視(shi)(shi)(shi)頻產生(sheng)“熟(shu)視(shi)(shi)(shi)無(wu)睹”的(de)問(wen)題,也解決(jue)發生(sheng)案件時要花上百(bai)人進(jin)行錄像查(cha)閱(yue)的(de)問(wen)題。
軟件智能分析與硬件智能分析優劣勢分析
引用鄧(deng)小(xiao)平語(yu)錄“不管白貓(mao)(mao)黑貓(mao)(mao),抓得(de)住(zhu)老鼠就是(shi)好貓(mao)(mao)”,軟(ruan)件(jian)智能(neng)分析和硬件(jian)智能(neng)分析只是(shi)分工不同的貓(mao)(mao),他們都有(you)擅長(chang)的一面,也都有(you)自己的劣勢(shi)。用一句話來概括,他們的區別就是(shi)“軟(ruan)件(jian)智能(neng)貴在適應(ying)性和廣(guang)度、硬件(jian)智能(neng)分析貴在分析的速度”。
軟件智能分析
用CPU 進行運算的智能分析方案,其優勢在于適應性強,具體體現在:
1)對各種數據源的適配性高,在安防行業中數據源基本為視頻和圖片,但是這些數據的來源可謂五花八門,尤其早期的設備廠家非常多,對接方式和編碼格式都不標準,只有通過軟件對接來完成前期工作,才能給智能分析提供原始材料;
2)新的算法出來時,基本都是在軟件上實現的,因為在軟件上編碼實現最容易,很少有算法一開始出來就能運行于智能分析硬件;
3)軟(ruan)件智(zhi)能分析可以(yi)運行在(zai)很多通用服(fu)務器(qi)和(he)PC 機上(shang),不(bu)需(xu)要(yao)配備(bei)特殊(shu)的(de)硬(ying)件就能運行,而硬(ying)件智(zhi)能分析就不(bu)一樣(yang)了。
當然軟(ruan)件智能(neng)分析(xi)的(de)主要缺(que)點就在于分析(xi)性能(neng)差。
硬件智能分析
一(yi)(yi)(yi)般(ban)指運行在(zai)DSP、FPGA 以(yi)及GPU 資源(yuan)上的(de)智(zhi)能分(fen)析(xi)應用。其優點就是(shi)一(yi)(yi)(yi)個字“快”,一(yi)(yi)(yi)旦一(yi)(yi)(yi)種智(zhi)能算法有了能支撐它的(de)硬件資源(yuan)后,一(yi)(yi)(yi)般(ban)就能把軟件分(fen)析(xi)的(de)處理能力甩開幾(ji)條街。但是(shi)相對(dui)的(de),它的(de)局限也就是(shi)軟件智(zhi)能的(de)優勢所(suo)在(zai)。
但是(shi)現(xian)在,軟(ruan)(ruan)件智能分(fen)析和硬(ying)件智能分(fen)析沒有那么嚴格(ge)的區分(fen),很(hen)多新的算(suan)法經過軟(ruan)(ruan)件方案一定段時間驗證后,如果存在較(jiao)大的可(ke)用性,慢(man)慢(man)就(jiu)會走上(shang)硬(ying)件化的道路(lu)。近幾(ji)年炙手可(ke)熱的深度學習的計算(suan)量基本上(shang)只有在GPU 上(shang)才能跑起(qi)來(lai)(lai)。因此流(liu)行的是(shi)通過CPU做適配和前期處理,GPU 來(lai)(lai)做智能運算(suan),也就(jiu)是(shi)Intel CPU + NVIDIA GPU 的組(zu)合,而且(qie)這個(ge)組(zu)合的處理性能也確實非(fei)常(chang)強勁(jing)。
◆ 前端智能分析與后端智能分析的對比前端智能分析與后端智能分析的關系,也類似于上面的軟硬件智能分析一樣,都是相輔相成,互為補充。
◆ 前端智能分析
圖:前端智能分析
在攝(she)像機等內(nei)置傳感器,或者在傳感器附近(jin)放置一個(ge)專門分(fen)(fen)析(xi)的(de)(de)(de)前(qian)置設備(bei)。前(qian)端(duan)智能分(fen)(fen)析(xi)的(de)(de)(de)優勢是離采集(ji)端(duan)近(jin),分(fen)(fen)析(xi)比較及時,通過前(qian)置的(de)(de)(de)智能分(fen)(fen)析(xi)可以有效降低需要傳輸的(de)(de)(de)數據的(de)(de)(de)量(liang)。同時前(qian)端(duan)智能也受(shou)限于較弱的(de)(de)(de)計(ji)算(suan)資源和有限的(de)(de)(de)空間,再好的(de)(de)(de)智能分(fen)(fen)析(xi)技(ji)術到前(qian)端(duan)也都是“龍居淺(qian)潭”。前(qian)端(duan)智能中最成熟的(de)(de)(de)就是車牌識別功能了(le),現在前(qian)端(duan)設備(bei)上車牌識別的(de)(de)(de)準(zhun)度已經(jing)達到99%。
◆ 后端智能分析
用后端服務器的方案進行智能分(fen)析,也是當前比較主(zhu)流的智能分(fen)析方案,業界的代表有宇視IA系列、海(hai)康(kang)的獵鷹(ying)等。
由于智(zhi)能(neng)的(de)(de)需求(qiu)越(yue)(yue)來(lai)越(yue)(yue)大(da),智(zhi)能(neng)需求(qiu)的(de)(de)種(zhong)類也越(yue)(yue)來(lai)越(yue)(yue)多,各(ge)種(zhong)智(zhi)能(neng)服務器(qi)會慢(man)慢(man)占領(ling)客戶的(de)(de)機房;因此如(ru)何綜合利用這些(xie)服務器(qi)資(zi)源(yuan),如(ru)何提升單位空間的(de)(de)計算(suan)能(neng)力是(shi)眾多廠家關注(zhu)和(he)研(yan)究(jiu)的(de)(de)方向,從(cong)當前(qian)來(lai)看主要的(de)(de)方向是(shi):硬件(jian)化、框架化、集群(qun)化。
硬件化,智能(neng)分(fen)析的(de)(de)(de)硬件化是(shi)一些智能(neng)分(fen)析技(ji)術逐漸(jian)成熟的(de)(de)(de)必(bi)然方向,現在的(de)(de)(de)深度學習經(jing)過幾(ji)年的(de)(de)(de)發展已經(jing)表(biao)現出了(le)強勁的(de)(de)(de)發展前景,而且智能(neng)硬件只要能(neng)很好地承載深度學習的(de)(de)(de)計算需(xu)求,就(jiu)能(neng)應對絕大部分(fen)基(ji)于深度學習發展起來的(de)(de)(de)具體智能(neng)分(fen)析技(ji)術,比如現在一個很典型(xing)的(de)(de)(de)應用(yong)就(jiu)是(shi)智能(neng)識別的(de)(de)(de)應用(yong),用(yong)了(le)GPU 之后,性能(neng)可以(yi)翻很多倍。
框架化(hua),因(yin)為(wei)智(zhi)能(neng)(neng)算法越來越多,如果為(wei)每一(yi)款智(zhi)能(neng)(neng)算法單獨開發(fa)一(yi)次軟件(jian),那軟件(jian)工作(zuo)就存(cun)在(zai)很多浪費。如何能(neng)(neng)夠開發(fa)一(yi)次軟件(jian),然后盡量多地去適配各種算法對廠家和客戶來說都是比較有意義的事(shi)情。
集群化,既(ji)然智能分析的(de)(de)(de)需求越來越大,那么這些服(fu)務(wu)器如(ru)何統(tong)一(yi)(yi)(yi)管理,如(ru)何統(tong)一(yi)(yi)(yi)進(jin)行(xing)資源分配又是一(yi)(yi)(yi)個(ge)比較棘(ji)手的(de)(de)(de)事(shi)情,總(zong)不能讓客戶(hu)(hu)自(zi)(zi)己一(yi)(yi)(yi)臺(tai)(tai)一(yi)(yi)(yi)臺(tai)(tai)服(fu)務(wu)器去(qu)做配置,一(yi)(yi)(yi)臺(tai)(tai)一(yi)(yi)(yi)臺(tai)(tai)去(qu)做管理吧(ba)?!集群化的(de)(de)(de)需求就(jiu)應運而生,它(ta)需要解(jie)(jie)決(jue)的(de)(de)(de)問(wen)題有:統(tong)一(yi)(yi)(yi)管理各(ge)個(ge)服(fu)務(wu)器,進(jin)行(xing)統(tong)一(yi)(yi)(yi)的(de)(de)(de)配置;動(dong)態解(jie)(jie)決(jue)各(ge)個(ge)服(fu)務(wu)器的(de)(de)(de)資源和任(ren)務(wu)分配問(wen)題,避免(mian)客戶(hu)(hu)自(zi)(zi)行(xing)去(qu)選擇服(fu)務(wu)器;解(jie)(jie)決(jue)設備的(de)(de)(de)災備問(wen)題,在有多(duo)臺(tai)(tai)設備時,不會因(yin)一(yi)(yi)(yi)臺(tai)(tai)設備的(de)(de)(de)失效而導致它(ta)所負責的(de)(de)(de)業務(wu)不可運行(xing)。
除(chu)了(le)專門的(de)(de)智(zhi)能(neng)服務器,現在有很(hen)多的(de)(de)后端產品也開始內置簡單的(de)(de)智(zhi)能(neng)功能(neng)了(le),比(bi)如很(hen)多新(xin)的(de)(de)NVR 已經具(ju)備了(le)不少的(de)(de)智(zhi)能(neng)分析能(neng)力(li),在小(xiao)規(gui)模(mo)的(de)(de)方案里這種產品形態將越(yue)來越(yue)有市場。
前后端融合計算
同軟硬件智(zhi)能分析(xi)的(de)(de)方案,前后端的(de)(de)智(zhi)能分析(xi)也不(bu)是(shi)完全(quan)割裂和互斥的(de)(de),兩者都是(shi)“抓得住老(lao)鼠”的(de)(de)好(hao)貓,但是(shi)如何把他(ta)們合在一起適當分工(gong),是(shi)不(bu)是(shi)能夠成為更強大、更高效的(de)(de)貓呢?答(da)案是(shi)肯(ken)定的(de)(de)。
前端(duan)(duan)是(shi)(shi)存在(zai)計算(suan)性能(neng)(neng)(neng)上(shang)的(de)不足,存在(zai)空間上(shang)的(de)拘束,但是(shi)(shi)還是(shi)(shi)能(neng)(neng)(neng)承(cheng)擔一(yi)(yi)(yi)些分析(xi)(xi)工作的(de),而且最重(zhong)要(yao)的(de)是(shi)(shi)它保有(you)量大,每臺(tai)(tai)做一(yi)(yi)(yi)點基礎的(de)分析(xi)(xi)工作,后(hou)臺(tai)(tai)再在(zai)這些分析(xi)(xi)的(de)成果(guo)基礎上(shang)做進一(yi)(yi)(yi)步的(de)分析(xi)(xi),將能(neng)(neng)(neng)大大降低(di)(di)后(hou)端(duan)(duan)服(fu)務器(qi)的(de)工作壓力。典(dian)型如現(xian)在(zai)的(de)人(ren)(ren)物智(zhi)能(neng)(neng)(neng)分析(xi)(xi)方案(an)中(zhong),如果(guo)采用后(hou)端(duan)(duan)引前端(duan)(duan)實況流分析(xi)(xi)的(de)方案(an),一(yi)(yi)(yi)臺(tai)(tai)E5 的(de)服(fu)務器(qi)能(neng)(neng)(neng)做到(dao)4 ~ 5 路(lu)已經(jing)很高了;但是(shi)(shi)同樣的(de)服(fu)務器(qi)如果(guo)用前后(hou)端(duan)(duan)融合的(de)方案(an),前端(duan)(duan)負責人(ren)(ren)物的(de)跟蹤和抓拍,后(hou)端(duan)(duan)負責分析(xi)(xi),一(yi)(yi)(yi)臺(tai)(tai)服(fu)務器(qi)就(jiu)(jiu)能(neng)(neng)(neng)做到(dao)24 路(lu)甚至更高,這就(jiu)(jiu)能(neng)(neng)(neng)大大降低(di)(di)用戶的(de)部署成本。
當前,阻擋前后端方案融合的(de)(de)最大障礙是標準的(de)(de)問題,各個廠(chang)家都是按照自己的(de)(de)理解定義接(jie)口,定義邊界,廠(chang)家之間互通的(de)(de)唯一方式(shi)就是對(dui)接(jie)開發。因(yin)此,現在如果涉及到跨廠(chang)家的(de)(de)智(zhi)能(neng)(neng)分析,都更多采用純(chun)后端或者純(chun)前端的(de)(de)方案,這是智(zhi)能(neng)(neng)發展(zhan)需要解決(jue)的(de)(de)重要問題。
智能分析在智能中的應用
前(qian)文(wen)多(duo)次提到過,智能(neng)(neng)分(fen)析(xi)功(gong)能(neng)(neng)在智能(neng)(neng)交(jiao)通行業(ye)的(de)應用(yong)是最成熟的(de),其中最重(zhong)要(yao)的(de)啟(qi)動點是車牌(pai)識(shi)別的(de)識(shi)別率達到了應用(yong)的(de)要(yao)求(qiu),以及(ji)在此基礎之(zhi)上形成的(de)非現場執法設備和其他各(ge)種解決(jue)方案,在這里簡單介紹(shao)一下:
1. 非現場執法設備
車牌識別(bie)、紅(hong)綠燈口車輛跟蹤和抓(zhua)(zhua)拍等技術形成(cheng)的(de)(de)非現(xian)場(chang)執法設(she)備(bei),極(ji)大提升了(le)交警(jing)(jing)的(de)(de)交通(tong)管(guan)理能力(li),讓交通(tong)違法抓(zhua)(zhua)獲由一(yi)(yi)個(ge)概率(lv)事件(jian)變成(cheng)了(le)必然事件(jian),一(yi)(yi)舉解決(jue)了(le)2012 年前需要雇一(yi)(yi)堆小姑(gu)娘進行闖紅(hong)燈抓(zhua)(zhua)拍識別(bie)而且還(huan)抓(zhua)(zhua)不全的(de)(de)問題。近兩年隨(sui)著技術的(de)(de)成(cheng)熟(shu),虛擬線圈(quan)替(ti)代了(le)地(di)感(gan)線圈(quan),又降低(di)了(le)電警(jing)(jing)的(de)(de)施工難度和安裝成(cheng)本,使得非現(xian)場(chang)執法設(she)備(bei)的(de)(de)覆蓋(gai)面越來越廣;
2. 電子卡口
在非(fei)現場執法設備中嘗到智能(neng)分析甜頭(tou)的(de)(de)用戶,在開始(shi)進(jin)(jin)一步考慮(lv)城市車(che)輛的(de)(de)監(jian)控和管(guan)理,因此電子(zi)卡口的(de)(de)業(ye)務就產生了(le),記(ji)錄(lu)車(che)輛的(de)(de)行(xing)進(jin)(jin)軌跡,根據(ju)行(xing)進(jin)(jin)軌跡進(jin)(jin)行(xing)車(che)輛異(yi)常行(xing)為的(de)(de)分析,對接車(che)管(guan)庫進(jin)(jin)行(xing)車(che)輛的(de)(de)核查等各種(zhong)業(ye)務都開始(shi)落(luo)地。隨著技(ji)術的(de)(de)成(cheng)熟(shu),和開車(che)犯案(an)的(de)(de)案(an)例增多,相關部門也開始(shi)介入(ru)到卡口業(ye)務的(de)(de)建(jian)設,希望通過對車(che)輛的(de)(de)排查進(jin)(jin)行(xing)案(an)件偵破的(de)(de)技(ji)戰術開始(shi)提出來,并產生了(le)諸多成(cheng)果;
3. 交通綜合管控
隨著上(shang)述技術的成熟,交警希望(wang)把道(dao)路上(shang)的各種資源統(tong)一調度起(qi)來(lai),根據(ju)(ju)車流量(liang)情況和(he)道(dao)路狀況自動(dong)進行紅綠燈的調配,以(yi)及其他道(dao)路疏導提(ti)示系(xi)統(tong)的調度,交通綜(zong)合管(guan)控平臺的成熟將對交警行業產生又(you)一次重大的影響。其后,只要(yao)源源不(bu)斷地(di)將新成熟的智能算(suan)法、大數據(ju)(ju)分析算(suan)法納入到這(zhe)個平臺中,這(zhe)個平臺就能具備越來(lai)越強的管(guan)理能力。
在智能(neng)交(jiao)通中,還有其他很多的(de)(de)智能(neng)技(ji)術(shu)在逐漸成熟,包(bao)括(kuo)車輛的(de)(de)異常行為(wei)檢測、車型(xing)車款識別等等,這些(xie)都將(jiang)助推智能(neng)交(jiao)通行業的(de)(de)快速發展。