當智(zhi)能交(jiao)通(tong)遇到(dao)大數據,如同二氧化錳(meng)在制取氧氣的(de)實驗中(zhong)作(zuo)為(wei)催化劑(ji)一樣,一場劇烈的(de)化學反應加劇了兩(liang)方的(de)共同發展。
隨著城(cheng)市(shi)的(de)迅(xun)速發(fa)展,交(jiao)通擁堵、交(jiao)通污(wu)染(ran)日(ri)益嚴重,交(jiao)通事故頻繁(fan)發(fa)生,這些都是各大(da)城(cheng)市(shi)亟待解決的(de)問題。智能交(jiao)通成為(wei)改善城(cheng)市(shi)交(jiao)通的(de)關鍵所(suo)在(zai)。為(wei)此,及時、準確獲取交(jiao)通數(shu)據(ju)并構建交(jiao)通數(shu)據(ju)處(chu)理模型(xing)是建設智能交(jiao)通的(de)前(qian)提,而這一(yi)難題可(ke)以通過大(da)數(shu)據(ju)技術得(de)到解決。
智能交通需求與大數據契合
智能交(jiao)通整體(ti)框(kuang)架主要(yao)(yao)包(bao)括物理(li)感(gan)知(zhi)層(ceng)、軟件(jian)應(ying)(ying)用(yong)(yong)(yong)平臺及(ji)分(fen)析(xi)預(yu)(yu)測及(ji)優化管(guan)理(li)的(de)應(ying)(ying)用(yong)(yong)(yong)。其中物理(li)感(gan)知(zhi)層(ceng)主要(yao)(yao)是(shi)對交(jiao)通狀況和交(jiao)通數據(ju)的(de)感(gan)知(zhi)采集(ji);軟件(jian)應(ying)(ying)用(yong)(yong)(yong)平臺是(shi)將(jiang)各感(gan)知(zhi)終端的(de)信息進行整合、轉換處理(li),以支(zhi)撐分(fen)析(xi)預(yu)(yu)警與優化管(guan)理(li)的(de)應(ying)(ying)用(yong)(yong)(yong)系統(tong)建設;分(fen)析(xi)預(yu)(yu)測及(ji)優化管(guan)理(li)應(ying)(ying)用(yong)(yong)(yong)主要(yao)(yao)包(bao)括交(jiao)通規劃、交(jiao)通監控、智能誘導、智能停(ting)車等(deng)應(ying)(ying)用(yong)(yong)(yong)系統(tong)。
系(xi)(xi)統(tong)利用先(xian)進的(de)視頻監控、智能(neng)識(shi)別和(he)信息(xi)技術手段,增加可(ke)管理(li)空間(jian)、時間(jian)和(he)范圍,不斷提升管理(li)廣(guang)度、深度和(he)精細度。整個系(xi)(xi)統(tong)由信息(xi)綜合應用平臺、信號(hao)控制系(xi)(xi)統(tong)、視頻監控系(xi)(xi)統(tong)、智能(neng)卡口(kou)系(xi)(xi)統(tong)、非現場執法系(xi)(xi)統(tong)、信息(xi)采集系(xi)(xi)統(tong)、信息(xi)發布系(xi)(xi)統(tong)等組成。以達到如下四方面的(de)目標:
提高通行能力
減少交通事故
打擊違章事件
出行信息服務
如下(xia)是智能交通(tong)整體應用架構圖:
整個系統(tong)建設的(de)(de)核(he)心是數(shu)據(ju)(ju)的(de)(de)沉(chen)淀、存儲(chu)與計算,而(er)其中(zhong)最重要的(de)(de)核(he)心思想就是“數(shu)據(ju)(ju)是價值”。問題就是如(ru)何(he)把數(shu)據(ju)(ju)轉(zhuan)換成價值。這就成為(wei)一個技術問題。
從(cong)(cong)(cong)統(tong)計學的角度(du),任何(he)領域任何(he)動(dong)態發(fa)展的事物(wu),只要(yao)有足夠多的樣(yang)本數(shu)據,就(jiu)一定能從(cong)(cong)(cong)樣(yang)本數(shu)據中(zhong)找到動(dong)態發(fa)展的規(gui)律(lv)。數(shu)據越(yue)多,準確率越(yue)高(gao)。這(zhe)個“規(gui)律(lv)”就(jiu)是(shi)數(shu)據的價值所在。對于商(shang)業機構,可以分析(xi)(xi)用戶(hu)行(xing)為規(gui)律(lv)從(cong)(cong)(cong)而提(ti)高(gao)銷(xiao)售量;分析(xi)(xi)目標市場(chang)規(gui)律(lv),定點投放(fang)廣告從(cong)(cong)(cong)而降(jiang)低成本等等;還可以分析(xi)(xi)交通(tong)行(xing)為規(gui)律(lv),提(ti)前(qian)做交通(tong)疏導,提(ti)高(gao)交通(tong)通(tong)暢率,這(zhe)就(jiu)能真正挖掘數(shu)據的潛在價值,提(ti)高(gao)其社會價值。
從20世紀初的(de)(de)網(wang)絡發展以來(lai),進(jin)入一個高度聯網(wang)的(de)(de)階段。聯網(wang)的(de)(de)同時,數據(ju)高度集中,數據(ju)量急劇增加。據(ju)IDC報告現在(zai)(zai)互聯網(wang)的(de)(de)數據(ju),每兩年(nian)就翻一番。這個增長率(lv)在(zai)(zai)智(zhi)能交通行(xing)業同樣有效,隨(sui)著卡口、電(dian)警、攝像機數量的(de)(de)增加,高清化、智(zhi)能化的(de)(de)發展,如果再算上物聯網(wang)的(de)(de)各種傳感(gan)器,未來(lai)幾年(nian)的(de)(de)數據(ju)量增加可能大大高于這個增長率(lv)。這就為智(zhi)能交通行(xing)業實(shi)現大數據(ju)提(ti)供了數據(ju)基礎。
從各種各樣(yang)類型的數據(ju)中,快速獲得有價(jia)值(zhi)信息的能力,就是(shi)大數據(ju)技術。由此我們再看(kan)IBM歸納(na)的4個V( 量(liang)Volume,多樣(yang)Variety,價(jia)值(zhi)Value,速Velocity):
1)Volume數(shu)據(ju)體(ti)量(liang)巨(ju)大。從TB級(ji)別,躍升到PB級(ji)別;
2)Variety數(shu)據類型繁多。包(bao)括(kuo)視頻、圖片、地理位置信息、傳感器數(shu)據等等。
3)Value價(jia)值(zhi)密(mi)度低(di),應(ying)用價(jia)值(zhi)高。以視(shi)頻為例,連續(xu)不間(jian)斷監控過程中,可能有用的數據僅僅有一兩(liang)秒(miao)。
4) Velocity處理速(su)度(du)(du)快。1秒定(ding)律。最后(hou)這一點也是(shi)和傳(chuan)統的(de)(de)數(shu)據(ju)(ju)(ju)挖(wa)掘技(ji)術(shu)有(you)著本(ben)質的(de)(de)不同。在(zai)交通領域,海量(liang)的(de)(de)數(shu)據(ju)(ju)(ju)主要包括4個類型的(de)(de)數(shu)據(ju)(ju)(ju):傳(chuan)感器數(shu)據(ju)(ju)(ju)(位置、溫度(du)(du)、壓(ya)力、圖像、速(su)度(du)(du)、RFID等(deng)信息(xi));系統數(shu)據(ju)(ju)(ju)(日志(zhi)、設備記錄、MIBs等(deng));服務(wu)數(shu)據(ju)(ju)(ju)(收費信息(xi)、上網服務(wu)及其(qi)他信息(xi));應用(yong)數(shu)據(ju)(ju)(ju)(生成廠家(jia)、能源(yuan)、交通、性能、兼容性等(deng)信息(xi))。交通數(shu)據(ju)(ju)(ju)的(de)(de)類型繁多,而且體積巨大量(liang)Volume 和多樣 Variety是(shi)因,數(shu)據(ju)(ju)(ju)類型的(de)(de)復雜和數(shu)據(ju)(ju)(ju)量(liang)的(de)(de)急劇增加,決定(ding)了原有(you)簡單因果關系的(de)(de)應用(yong)模式對數(shu)據(ju)(ju)(ju)使(shi)用(yong)率極低(di),完全(quan)無法發揮數(shu)據(ju)(ju)(ju)的(de)(de)作用(yong);速(su)Velocity是(shi)過程,巨大的(de)(de)運算量(liang)決定(ding)了速(su)度(du)(du)必須(xu)快;價值(zhi) Value是(shi)最終的(de)(de)果。
大數據沉淀
在各(ge)城市建(jian)設智慧交通的(de)過程中,將產生越(yue)來(lai)越(yue)多的(de)視頻監(jian)控、卡(ka)口(kou)電警(jing)、路(lu)況信(xin)息(xi)(xi)、管控信(xin)息(xi)(xi)、營運信(xin)息(xi)(xi)、GPS定位信(xin)息(xi)(xi)、RFID識別(bie)信(xin)息(xi)(xi)等數據(ju),每天產生的(de)數據(ju)量可(ke)以達(da)到(dao)PB級別(bie),并且(qie)呈現指(zhi)數級增長。以丹東市的(de)卡(ka)口(kou)電警(jing)產生的(de)數據(ju)為例:
車道數 | 1300 |
---|---|
每車道平均每天過車數據 | 4000 |
每車道每天過車數據,峰值 | 12000 |
圖片存儲周期(天) | 180 |
過車信息存儲周期(天) | 180 |
平均每張圖片大小(KBytes) | 250 |
系統要求: | |
圖片存儲容量 | 數百TB |
數據庫存儲容量 | 數TB |
IPSAN吞吐率(MBytes/s),均值 | 15 |
IPSAN吞吐率(MBytes/s),峰值 | 45 |
數據庫容量(億條) | 百億級 |
并發能力(條/S),均值 | 60 |
并發能力(條/S),峰值 | 200 |
大數據增值應用
深入挖掘(jue)數(shu)據價值,在智(zhi)能(neng)交通(tong)等(deng)行(xing)(xing)業上推出車輛軌跡(ji)、道(dao)路流量(liang)、案件聚類等(deng)大(da)數(shu)據模型(xing)。基于大(da)數(shu)據模型(xing),推出智(zhi)能(neng)套牌、智(zhi)能(neng)跟車分析、軌跡(ji)碰(peng)撞(zhuang)、智(zhi)能(neng)比對(dui)、輿情分析等(deng)數(shu)據增值應用,逐步解決行(xing)(xing)業的(de)深層(ceng)次問題(ti)
海量數據計算
通過云計算集群,實現對海量數據的分布式高速計算,支撐對海量數據的高效分析挖掘。
云計(ji)(ji)算(suan)集(ji)群是一種M/S架構(gou)的分布(bu)式計(ji)(ji)算(suan)系統(tong),Master作(zuo)為(wei)調度管理(li)服(fu)(fu)務器(qi),負(fu)責(ze)(ze)計(ji)(ji)算(suan)任務分解與(yu)調度、計(ji)(ji)算(suan)資源統(tong)一管理(li)。Slave則由大量的計(ji)(ji)算(suan)服(fu)(fu)務器(qi)組成,負(fu)責(ze)(ze)完成Master下發的計(ji)(ji)算(suan)任務。
海量數據檢索
基于行業(ye)數據查(cha)詢(xun)(xun)特點,對搜索(suo)(suo)引擎進行優化定制,支持百(bai)億記錄的(de)秒級高(gao)速查(cha)詢(xun)(xun)。通過集群機制,實現(xian)搜索(suo)(suo)服務的(de)高(gao)可靠性(xing)、高(gao)容(rong)錯性(xing)、高(gao)擴展性(xing)。
海量數據存儲
對于海量數據存儲,采用HBase分布式存儲系統。 相比傳統關系型數據庫,有如下特點:
數據格式靈活
高可用
橫向擴展能力強
訪問高效
同時能(neng)夠做(zuo)到無(wu)(wu)縫集成,快速(su)從關系型數據(ju)庫導入已(yi)經存(cun)在的(de)歷史(shi)數據(ju)。 提供高可靠性(xing)、高容(rong)錯性(xing)、高性(xing)能(neng)的(de)海(hai)量(liang)數據(ju)存(cun)儲(chu)解決方案,支持(chi)無(wu)(wu)縫容(rong)量(liang)擴(kuo)展(zhan)。
大數據在智能交通中的發展
宇視智能(neng)交通產品總監(jian)孫加君分(fen)析(xi),智能(neng)交通產品的(de)技術(shu)定位近年來有兩大顯著變化(hua):
第一是智(zhi)能(neng)前(qian)置,前(qian)端(duan)的抓拍(pai)單(dan)元發生了非常大的變化,實現了“一體化”,即所(suo)有的交(jiao)通行為、智(zhi)能(neng)分(fen)析(xi)行為都由(you)相(xiang)機(ji)(ji)來完成(cheng)。而在2010年前(qian)后,抓拍(pai)單(dan)元還(huan)是純(chun)粹的抓拍(pai)機(ji)(ji),其他智(zhi)能(neng)分(fen)析(xi)算法由(you)路口工控機(ji)(ji)或后端(duan)設備完成(cheng);
第二(er)是建設(she)規(gui)模(mo),現在一個(ge)中小城市建設(she)卡口和電警設(she)備的規(gui)模(mo)就能達(da)到上千路,抓拍圖片的數量(liang)規(gui)模(mo)非常龐大,有的甚至上億條(tiao),如果存儲時間較長則達(da)到10億條(tiao),對平(ping)臺(tai)管理、檢索這些過車記(ji)錄,提出了非常大的挑戰。
宇視副總裁(cai)閆夏卿從三個角度闡(chan)述(shu)智能(neng)交(jiao)通與大(da)數據(ju)的關系:
首先,從應用成熟度看,在(zai)(zai)今(jin)天無論卡口、非現場執(zhi)法(fa)設備,視頻監(jian)控(kong)是對圖(tu)像和視頻數據進行語意化和結構(gou)化處理最成熟、最完整(zheng)、應用深(shen)度最深(shen)的領(ling)域(yu)。智能交(jiao)通可能是現在(zai)(zai)新興技術(shu)和應用領(ling)域(yu)里,率先突破數據應用瓶頸(jing)的一個技術(shu)領(ling)域(yu);
其次,從技(ji)(ji)術(shu)角度看,包括大數據(ju)、云(yun)計算的技(ji)(ji)術(shu)架構,最先在(zai)智(zhi)能(neng)交(jiao)通里落(luo)地(di),智(zhi)能(neng)交(jiao)通也必將引領整個(ge)智(zhi)慧城市各個(ge)子模塊的技(ji)(ji)術(shu)潮流和(he)走勢;
最(zui)后(hou),從使(shi)用者與(yu)應用者關聯的(de)角度(du)看,交(jiao)通(tong)的(de)智能(neng)化,最(zui)終(zhong)會影響到每一(yi)個人騎車(che)、駕車(che)、公(gong)交(jiao)出(chu)行的(de)感受。每位市民都能(neng)夠(gou)有(you)非常好(hao)的(de)交(jiao)通(tong)秩序體驗,這(zhe)一(yi)點(dian)就需要智能(neng)交(jiao)通(tong)的(de)技術(shu)方案去支撐(cheng)實現。