維基百(bai)科(ke)全(quan)書的(de)定義:“大(da)(da)數(shu)據(ju)(ju)是飛速增長(chang)的(de),用現有數(shu)據(ju)(ju)庫管理工具難以管理的(de)數(shu)據(ju)(ju)集合(he)”。這些數(shu)據(ju)(ju)包括:社交媒體(ti)、移動設(she)備(bei)、科(ke)學(xue)計(ji)算和(he)城市中部署的(de)各(ge)類傳感器等(deng)等(deng),其中視(shi)頻又是構(gou)成(cheng)數(shu)據(ju)(ju)體(ti)量最大(da)(da)的(de)一部分。據(ju)(ju)IMS Research 統計(ji),根據(ju)(ju)IHS 2014 視(shi)頻監(jian)控(kong)(kong)(kong)市場(chang)報告,未來五年全(quan)球(qiu)監(jian)控(kong)(kong)(kong)攝像機將(jiang)保(bao)持22% 的(de)復合(he)增長(chang),前(qian)端產生的(de)視(shi)頻監(jian)控(kong)(kong)(kong)數(shu)據(ju)(ju)將(jiang)更(geng)為龐大(da)(da),在視(shi)頻監(jian)控(kong)(kong)(kong)大(da)(da)聯(lian)網、高清化推動下,視(shi)頻監(jian)控(kong)(kong)(kong)業務(wu)步(bu)入數(shu)據(ju)(ju)洪水時代不(bu)可避免。
云(yun)(yun)(yun)存(cun)儲是炙(zhi)手(shou)可熱(re)的(de)(de)(de)(de)(de)(de)“大(da)(da)數(shu)(shu)據(ju)”中(zhong)組成之一(yi):存(cun)儲單元模塊。“大(da)(da)數(shu)(shu)據(ju)”中(zhong)提及富媒體(ti)資源指的(de)(de)(de)(de)(de)(de)就是視(shi)頻(pin)(pin)(pin)監控(kong)業務(wu)產(chan)生(sheng)的(de)(de)(de)(de)(de)(de)大(da)(da)量數(shu)(shu)據(ju),占比巨大(da)(da)的(de)(de)(de)(de)(de)(de)富媒體(ti)信(xin)(xin)息中(zhong)的(de)(de)(de)(de)(de)(de)載(zai)體(ti)為(wei)存(cun)儲設備和(he)(he)云(yun)(yun)(yun)存(cun)儲解決(jue)方案(an)(an)。存(cun)儲設備或(huo)云(yun)(yun)(yun)存(cun)儲解決(jue)方案(an)(an)作為(wei)視(shi)頻(pin)(pin)(pin)監控(kong)里(li)中(zhong)結(jie)構(gou)化(hua)(hua)(hua)和(he)(he)非結(jie)構(gou)化(hua)(hua)(hua)數(shu)(shu)據(ju)的(de)(de)(de)(de)(de)(de)載(zai)體(ti),橫(heng)跨基礎架構(gou)、內(nei)容信(xin)(xin)息三(san)個維度(du)的(de)(de)(de)(de)(de)(de)信(xin)(xin)息化(hua)(hua)(hua)建設的(de)(de)(de)(de)(de)(de)基礎。如果將“富”媒體(ti)中(zhong)的(de)(de)(de)(de)(de)(de)視(shi)頻(pin)(pin)(pin)信(xin)(xin)息,從底層的(de)(de)(de)(de)(de)(de)動態(tai)存(cun)儲到(dao)以事件或(huo)物理為(wei)索引的(de)(de)(de)(de)(de)(de)信(xin)(xin)息分析,再到(dao)將海(hai)量的(de)(de)(de)(de)(de)(de)非結(jie)構(gou)化(hua)(hua)(hua)數(shu)(shu)據(ju)轉(zhuan)化(hua)(hua)(hua)成信(xin)(xin)息和(he)(he)洞察力(li),做到(dao)真正(zheng)的(de)(de)(de)(de)(de)(de)“為(wei)人所用”,才(cai)是大(da)(da)數(shu)(shu)據(ju)的(de)(de)(de)(de)(de)(de)真正(zheng)魅力(li)所在。
云監控(kong)以標準化(hua)(hua)、模塊(kuai)化(hua)(hua)、“即(ji)插即(ji)用(yong)”的(de)(de)一(yi)體(ti)化(hua)(hua)交(jiao)付方(fang)式(shi)及無限(xian)的(de)(de)擴展性,為構建(jian)面向云的(de)(de)監控(kong)管理模式(shi)提(ti)供(gong)了(le)全新的(de)(de)解(jie)決方(fang)案。作(zuo)為業界唯一(yi)一(yi)家已經(jing)將(jiang)監控(kong)云技(ji)術覆(fu)蓋(gai)并(bing)廣(guang)泛應用(yong)于政府、企業園區、智(zhi)能(neng)交(jiao)通、地鐵、校(xiao)園、高端智(zhi)能(neng)建(jian)筑等(deng)各個領域的(de)(de)解(jie)決方(fang)案供(gong)應商,宇視(shi)第三代“CDS 云直存(cun)”有(you)效(xiao)解(jie)決同質(zhi)化(hua)(hua)的(de)(de)低價雞肋和差(cha)異化(hua)(hua)的(de)(de)需求陷阱,使得用(yong)戶的(de)(de)TCO 總擁有(you)成本、應用(yong)效(xiao)率(lv)和可靠(kao)性最佳(jia)。
大數據業務特征分析
監控里的視頻錄像數據的讀寫模式從前端IPC 或編解碼器的寫入模式及整體方案的規劃和維護都大大的不同于普通的數據存儲模式。
主要有如下特征:
■恒定碼流的高并發寫入
■存儲空間的提前規劃
■錄像視頻的生命周期管理(li)
目前絕大多數的系統都是采用文件系統的方式進行音視頻數據的存儲。文件系統有幾個最大的問題:
■存儲設備管理接口不統一
■存儲資源的管理及分配制度
■以文件系統為核心的數據存儲方式
■文件系統易損壞,寫文件會導致文件系統元數據區的頻繁持續更新,因此文件系統的元數據區很容易損壞,導致文件系統不可用。
■性(xing)(xing)能(neng)問題(ti):文件(jian)系(xi)統(tong)(tong)經IO 過(guo)操作系(xi)統(tong)(tong)的(de)封裝,在(zai)(zai)(zai)數(shu)據(ju)(ju)長時期持續寫(xie)(xie)(xie)入的(de)情況下(xia),開銷要大(da)(da)于(yu)直(zhi)接(jie)裸盤(pan)寫(xie)(xie)(xie)入,降(jiang)(jiang)低性(xing)(xing)能(neng)。在(zai)(zai)(zai)磁(ci)盤(pan)上存在(zai)(zai)(zai)大(da)(da)量錄(lu)像(xiang)文件(jian)時,系(xi)統(tong)(tong)的(de)錄(lu)像(xiang)檢索效率會(hui)下(xia)降(jiang)(jiang)很多。另外,磁(ci)盤(pan)上的(de)大(da)(da)量文件(jian)在(zai)(zai)(zai)多次刪除重建后,數(shu)據(ju)(ju)在(zai)(zai)(zai)物理磁(ci)盤(pan)上的(de)位置將變成不連續,導致(zhi)數(shu)據(ju)(ju)寫(xie)(xie)(xie)入的(de)隨機性(xing)(xing)加(jia)大(da)(da),從而降(jiang)(jiang)低錄(lu)像(xiang)數(shu)據(ju)(ju)的(de)寫(xie)(xie)(xie)入性(xing)(xing)能(neng)。
云存儲的技術特點
1 統一管理管理
■即插即用
云存儲解決方案實現了無縫的將視頻處理技術和存儲設備無縫的融合,實現了對存儲資源進行集中管理,動態的為攝像機分配存儲資源。實現了云的最大特點:即插即用。
云存儲的(de)(de)數據(ju)管(guan)理(li)(li)模塊能(neng)自動識別新加入的(de)(de)設備(bei)(bei)信息,不僅實現了對存儲資源的(de)(de)整(zheng)合和集中管(guan)理(li)(li),并在系統的(de)(de)運行(xing)(xing)過(guo)程(cheng)中,通過(guo)巡檢機制(zhi)來(lai)實時監(jian)控(kong)各存儲設備(bei)(bei)的(de)(de)存儲資源狀態,在發現故障時及時上報給(gei)中心(xin)的(de)(de)視頻管(guan)理(li)(li)服(fu)務器進行(xing)(xing)處理(li)(li)。
■按需分配
試想將一個大型視頻監控系統中部署的上萬個攝像機的音視頻數據都存儲起來,將會占用非常大的存儲空間,增加系統成本。
事(shi)實上,并非所有(you)的(de)(de)(de)視頻(pin)數據(ju)都需要全(quan)天24 小(xiao)時存(cun)儲,可以(yi)根據(ju)實際情況有(you)選擇的(de)(de)(de)不同的(de)(de)(de)存(cun)儲策(ce)略進行存(cun)儲。監控云存(cun)儲解決方案(an)完美的(de)(de)(de)解決了(le)用(yong)戶的(de)(de)(de)顧慮,根據(ju)用(yong)戶的(de)(de)(de)現有(you)環境和存(cun)儲策(ce)略,實現每個前端的(de)(de)(de) 按需分配。
■自動擴容
監控CDS 云存儲解決方案實現了存儲的自動擴容功能。
當IPSAN 設備(bei)(bei)注冊到數(shu)據管(guan)理模(mo)塊(kuai)后,數(shu)據管(guan)理模(mo)塊(kuai)自動(dong)(dong)獲(huo)取存(cun)(cun)(cun)儲(chu)(chu)(chu)設備(bei)(bei)的(de)(de)各項信息,并把這些資(zi)源(yuan)整合成一個(ge)大的(de)(de)存(cun)(cun)(cun)儲(chu)(chu)(chu)資(zi)源(yuan)池,制訂存(cun)(cun)(cun)儲(chu)(chu)(chu)策略時根據最(zui)優策略為(wei)攝像機動(dong)(dong)態分配資(zi)源(yuan),以充分利(li)(li)用各存(cun)(cun)(cun)儲(chu)(chu)(chu)設備(bei)(bei)的(de)(de)存(cun)(cun)(cun)儲(chu)(chu)(chu)資(zi)源(yuan)。動(dong)(dong)態的(de)(de)為(wei)攝像機分配存(cun)(cun)(cun)儲(chu)(chu)(chu)資(zi)源(yuan),提(ti)高資(zi)源(yuan)利(li)(li)用率。當現有的(de)(de)存(cun)(cun)(cun)儲(chu)(chu)(chu)空(kong)間(jian)不(bu)能滿足新的(de)(de)存(cun)(cun)(cun)儲(chu)(chu)(chu)計劃時,在不(bu)影響(xiang)前端業務的(de)(de)情況下,能通過(guo)策略實現存(cun)(cun)(cun)儲(chu)(chu)(chu)空(kong)間(jian)的(de)(de)自動(dong)(dong)擴容。
■無限擴展
監(jian)控CDS 云存儲平臺(tai)(tai)可分成支持1024 級的管理模式,每級的存儲模塊支持1024 臺(tai)(tai)存儲設備(bei),實現存儲設備(bei)的無限擴展。
2 錄像數據的安全訪問
存放在存儲設備中的(de)視頻數(shu)據(ju)可能(neng)涉及到隱私或敏感(gan)信息(xi),所(suo)以對(dui)于訪問(wen)(wen)存儲的(de)音視頻數(shu)據(ju)的(de)用(yong)戶(hu)應進行權(quan)限(xian)認(ren)證,嚴禁(jin)未授權(quan)用(yong)戶(hu)對(dui)數(shu)據(ju)的(de)非法(fa)訪問(wen)(wen)。
完善的數據保護機制及優化
而(er)在(zai)(zai)視(shi)(shi)(shi)頻(pin)(pin)監控應(ying)用(yong)(yong)(yong)中,通常一個陣(zhen)列中磁(ci)盤都是7×24 小(xiao)時(shi)不間斷(duan)工作。音視(shi)(shi)(shi)頻(pin)(pin)數據的(de)特(te)征是,部分的(de)數據損壞只會(hui)損壞很短一段時(shi)間的(de)音視(shi)(shi)(shi)頻(pin)(pin)片段不可使用(yong)(yong)(yong),并不會(hui)影響全(quan)局,這種(zhong)應(ying)用(yong)(yong)(yong)模(mo)式下(xia),傳統的(de)RAID 算(suan)法將會(hui)導致陣(zhen)列變得(de)非常的(de)脆弱,容(rong)(rong)易由(you)于少量的(de)磁(ci)盤IO 錯誤導致整個陣(zhen)列不可用(yong)(yong)(yong)。因此,在(zai)(zai)視(shi)(shi)(shi)頻(pin)(pin)監控領(ling)域(yu),UNIVIEW 根據這個行業(ye)的(de)應(ying)用(yong)(yong)(yong)特(te)征,從設備級(ji)和(he)方案級(ji)兩方面出發進行優化,大大提(ti)高了(le)陣(zhen)列的(de)容(rong)(rong)錯能(neng)力,提(ti)升(sheng)了(le)可用(yong)(yong)(yong)性。
設備層
監控(kong)存儲(chu)設備自身提供(gong)多種保護機制,最大(da)程(cheng)度的保護視頻錄像數據。
■物理層
在物理層,通過最先進的磁盤技術保證數據的容錯(磁盤扇區的remap 技術)。
■RAID 層
在傳統的RAID 應用中,對于磁盤的錯誤是零容忍的,一旦發現磁盤IO 錯誤,就會將故障磁盤下線,導致陣列降級。 ■RAID 重建
在RAID 重建功能中,重新設計了新的重建算法,大大提升了RAID 重建速度。有效保證了在陣列降級情況下的數據恢復速度,提升了系統的可靠性。
■硬盤順序上電
包括存儲資源的可靠性(磁盤可靠性、RAID 可靠性、存儲設備級保護),存儲數據的可靠性,數據恢復,性能優化。
■設備層
支持在線式內嵌UPS 電池和數據保險箱功能,異常停電時可以繼續供電以便把寫緩存數據保存到數據保險箱中,完全保證用戶數據的完整性。
■協議層
在存(cun)儲(chu)協(xie)(xie)議(yi)層(ceng)面(mian),針(zhen)對(dui)音視(shi)頻媒體流(liu)傳(chuan)輸(shu)的(de)(de)特點,有針(zhen)對(dui)性的(de)(de)優化了iSCSI 協(xie)(xie)議(yi)參數,使得存(cun)儲(chu)媒體流(liu)的(de)(de)傳(chuan)輸(shu)更加的(de)(de)高效,提升可靠性。
方案級
從寫入的(de)視(shi)頻(pin)錄像數據(ju)采集后(hou)的(de)傳輸到后(hou)端存儲設備上錄像數據(ju)的(de)寫入過程中宇視(shi)科技的(de)監控(kong)CDS(Cloud Direct Storage) 云存儲提供解決方案級的(de)保護,完美的(de)保護視(shi)頻(pin)錄像數據(ju)。
■前端緩存補錄
在監控系統實際應用環境中,經常會面臨網絡終端、存儲設備斷電等情況,導致前端的錄像無法及時存儲到中心存儲資源,從而造成錄像丟失。
云(yun)存儲(chu)解(jie)決(jue)方案,在(zai)(zai)網絡(luo)或中心存儲(chu)等異常時(shi),前端(duan)(duan)設備(bei)(bei)會啟動(dong)緩存功能,將視頻數(shu)(shu)據(ju)存在(zai)(zai)本地的存儲(chu)設備(bei)(bei)上(shang)(shang)( 如:U 盤(pan)、移動(dong)硬盤(pan)和(he)SD 卡等)。同(tong)(tong)時(shi),后端(duan)(duan)鏈路(lu)或設備(bei)(bei)恢(hui)復正常后,會自動(dong)將補錄(lu)到(dao)的錄(lu)像上(shang)(shang)傳(chuan)到(dao)后端(duan)(duan)存儲(chu)上(shang)(shang),避(bi)免造(zao)成數(shu)(shu)據(ju)丟失。同(tong)(tong)時(shi)在(zai)(zai)統一的監控管理(li)平臺上(shang)(shang),能對該(gai)時(shi)間段的錄(lu)像進行(xing)檢索、回放(fang)、刪除等管理(li)操作。
■動態碼流直存
宇視科技的CDS 云存儲解決方案:對于宇視科技監控終端,可按照錄像存儲業務的優先級,支持變碼流存儲:對于周期計劃類等優先級較低的錄像存儲業務,可采用低碼流或者抽幀方式的存儲,適當減少對存儲空間的占用。而對于告警聯動類等優先級較高的錄像存儲業務,可采用高碼流、全幀等方式存儲,全力保證錄像的高質量、高清晰度。
同時,基(ji)于支持前(qian)端(duan)智能分(fen)析(xi)功能的監(jian)(jian)控終端(duan),對于監(jian)(jian)控畫(hua)面中的重點區域或動態圖像,采用(yong)低壓(ya)(ya)縮(suo)(suo)比、高(gao)碼流格式進行(xing)傳輸(shu)及存儲;對于監(jian)(jian)控畫(hua)面中的非重點區域或靜態圖像,采用(yong)高(gao)壓(ya)(ya)縮(suo)(suo)比、低碼流進行(xing)傳輸(shu)及存儲。這(zhe)樣在保證關鍵錄像數據(ju)的高(gao)質(zhi)量(liang)傳輸(shu)、高(gao)質(zhi)量(liang)存儲的同時,可有(you)效減少非關鍵數據(ju)占(zhan)用(yong)的傳輸(shu)帶寬、存儲資源。
■存儲的“『N+M』,M 最小為零”保護
存儲“『N+M』,M 最小為零”是預防存儲故障的實現方式之一,“N”為在線存儲陣列,“M”為冗余存儲設備,“N”和“M”在一個局域網里,但可以放置在不同的地域。通過“N+M 保護“能將前端攝像機的數據自動存放到冗余存儲陣列設備上。當在線存儲恢復正常后,又自動的恢復到之前存儲設備上。
存儲(chu)(chu)“『N+M』,M 最小為零”從(cong)監控系(xi)統整體解決(jue)方(fang)案(an)的(de)(de)角度(du),有效(xiao)解決(jue)不同(tong)級別及不同(tong)類型(xing)的(de)(de)存儲(chu)(chu)異(yi)常情況(kuang)下的(de)(de)存儲(chu)(chu)可靠(kao)性(xing)問題(ti)。根(gen)據用戶需求,靈(ling)(ling)活(huo)調整主用、冗余存儲(chu)(chu)設備的(de)(de)數目,比(bi)傳統陣列支持雙控保護技術的(de)(de)方(fang)案(an)整體可靠(kao)性(xing)和靈(ling)(ling)活(huo)性(xing)更(geng)高,且全系(xi)統保護成本(ben)更(geng)低。
總結
宇視根據自己多年在存儲和多媒體領域的技術積累和理解,基于多媒體應用的特點,有針對性的對現有存儲技術進行了創造性的改進和優化。
宇(yu)視的CDS 云(yun)存(cun)(cun)儲(chu)解決方(fang)案(an)實現了(le)對(dui)存(cun)(cun)儲(chu)設備(bei)的統一管理(li)、按(an)需分配(pei)、即(ji)插即(ji)用,基于云(yun)存(cun)(cun)儲(chu)理(li)念的的宇(yu)視科技(ji)存(cun)(cun)儲(chu)設備(bei)融入的云(yun)存(cun)(cun)儲(chu)數據(ju)管理(li)模塊,更好給用戶提供端到端的云(yun)存(cun)(cun)儲(chu)服務。