視(shi)頻監(jian)控隨著高清化、IT化的融合,大(da)(da)數據時代已(yi)經來(lai)臨,海量(liang)的視(shi)頻流媒(mei)體數據需要更大(da)(da)的存(cun)(cun)儲(chu)空間。但(dan)是由于目前行(xing)業(ye)市場上(shang)存(cun)(cun)儲(chu)設備的多樣性、可(ke)擴(kuo)展、安全性、可(ke)靠(kao)性等現(xian)實(shi)(shi)問題需要促(cu)生出了云存(cun)(cun)儲(chu)技術(shu)。云存(cun)(cun)儲(chu)采用集群應(ying)用、網(wang)絡(luo)技術(shu)、分布式(shi)文件(jian)系統(tong)等技術(shu),將網(wang)絡(luo)中(zhong)大(da)(da)量(liang)各種不同(tong)類型的存(cun)(cun)儲(chu)設備通過應(ying)用軟件(jian)集合進行(xing)協同(tong)工作,共同(tong)對外提(ti)供數據存(cun)(cun)儲(chu)和業(ye)務訪問功能,實(shi)(shi)現(xian)高清視(shi)頻監(jian)控的海量(liang)存(cun)(cun)儲(chu)與應(ying)用。
近些年來(lai)大數(shu)據(ju)、云計算、云存儲在IT界(jie)可(ke)謂炙手可(ke)熱,那其在視(shi)頻監(jian)(jian)控(kong)(kong)行(xing)(xing)業(ye)的(de)(de)需求(qiu)和應用(yong)(yong)(yong)又(you)怎么樣(yang)呢(ni)?不(bu)(bu)同(tong)行(xing)(xing)業(ye)、規模、應用(yong)(yong)(yong)需求(qiu)的(de)(de)視(shi)頻監(jian)(jian)控(kong)(kong)系統是否需要建(jian)設云存儲呢(ni)?各行(xing)(xing)業(ye)的(de)(de)決策(ce)者們無疑還存在一些疑惑,但是隨著視(shi)頻監(jian)(jian)控(kong)(kong)系統對(dui)視(shi)頻圖像清晰度(du)的(de)(de)不(bu)(bu)斷追求(qiu)、系統規模的(de)(de)不(bu)(bu)斷擴(kuo)大、應用(yong)(yong)(yong)需求(qiu)不(bu)(bu)斷趨向多樣(yang)化,云存儲應用(yong)(yong)(yong)是視(shi)頻監(jian)(jian)控(kong)(kong)系統發展的(de)(de)必然需求(qiu)。
云存儲的需求分析
首(shou)先是(shi)視(shi)(shi)頻(pin)圖(tu)像(xiang)清晰(xi)度(du)發(fa)展需(xu)求。視(shi)(shi)頻(pin)監控對視(shi)(shi)頻(pin)圖(tu)像(xiang)的(de)(de)清晰(xi)度(du)需(xu)求是(shi)無(wu)止(zhi)境的(de)(de)。視(shi)(shi)頻(pin)圖(tu)像(xiang)的(de)(de)分辨率從(cong)QCIF、CIF、D1、720P、1080P、4K、8K一路走來(lai),僅僅使用了不到十(shi)年(nian)的(de)(de)時間(jian),現在已開(kai)始步入4K分辨率主流年(nian)代。隨(sui)著視(shi)(shi)頻(pin)圖(tu)像(xiang)分辨率的(de)(de)不斷(duan)增大,相(xiang)應的(de)(de)視(shi)(shi)頻(pin)圖(tu)像(xiang)的(de)(de)存(cun)(cun)儲要求也越來(lai)越高。例(li)如:1路D1圖(tu)像(xiang)(1M碼(ma)(ma)率)存(cun)(cun)儲30天(tian)需(xu)要的(de)(de)存(cun)(cun)儲容量約為300GB左右,1路1080P圖(tu)像(xiang)(4M碼(ma)(ma)率)存(cun)(cun)儲30天(tian)需(xu)要的(de)(de)存(cun)(cun)儲容量約為1.2TB左右,1路4K(8M碼(ma)(ma)率)存(cun)(cun)儲30天(tian)則達到了2.4TB左右,可見隨(sui)著視(shi)(shi)頻(pin)圖(tu)像(xiang)清晰(xi)度(du)的(de)(de)增加,存(cun)(cun)儲容量的(de)(de)需(xu)求也急劇增大。
其次(ci)是(shi)安防(fang)視(shi)(shi)(shi)頻(pin)(pin)監(jian)控系(xi)統(tong)向(xiang)著大(da)規模(mo)、海量數(shu)(shu)據、智能化和(he)融合應(ying)用的(de)(de)(de)方(fang)向(xiang)快速發(fa)展。近十幾年(nian)來國(guo)內(nei)外的(de)(de)(de)各(ge)行各(ge)業(ye),安防(fang)視(shi)(shi)(shi)頻(pin)(pin)監(jian)控系(xi)統(tong)攝像(xiang)機的(de)(de)(de)數(shu)(shu)量規模(mo)急(ji)劇增加。在鐵路行業(ye),隨著新(xin)增沿線(xian)(xian)入(ru)侵報(bao)警與視(shi)(shi)(shi)頻(pin)(pin)監(jian)控需(xu)求(qiu)的(de)(de)(de)明晰,一條鐵路線(xian)(xian)的(de)(de)(de)建設規模(mo)就從幾千(qian)到上萬(wan)路攝像(xiang)機不等(deng);而如一個中等(deng)規模(mo)城市的(de)(de)(de)平(ping)安城市建設規模(mo)攝像(xiang)機數(shu)(shu)量可能達幾萬(wan)路。1000路的(de)(de)(de)1080P(4M碼率+24小時+30天)視(shi)(shi)(shi)頻(pin)(pin)圖像(xiang)存(cun)(cun)儲(chu)容量就可以達到1PB,而1萬(wan)路的(de)(de)(de)1080P視(shi)(shi)(shi)頻(pin)(pin)存(cun)(cun)儲(chu)容量超(chao)過了(le)10個PB,安防(fang)視(shi)(shi)(shi)頻(pin)(pin)監(jian)控系(xi)統(tong)的(de)(de)(de)存(cun)(cun)儲(chu)應(ying)用已經進(jin)入(ru)了(le)存(cun)(cun)儲(chu)PB級年(nian)代。
從性能和(he)容(rong)量(liang)上看(kan),單臺存(cun)(cun)儲(chu)(chu)設(she)備的(de)性能和(he)擴展性基本(ben)可以(yi)(yi)滿足PB級以(yi)(yi)內(nei)的(de)視(shi)頻接(jie)入(ru)和(he)圖(tu)像存(cun)(cun)儲(chu)(chu)需求(qiu),但是要接(jie)入(ru)成千(qian)上萬路高清1080P,甚至(zhi)是4K視(shi)頻,存(cun)(cun)儲(chu)(chu)幾十PB、甚至(zhi)上百PB的(de)數據,無論是性能還(huan)是容(rong)量(liang)都無法應對,因為單臺存(cun)(cun)儲(chu)(chu)設(she)備無法實現其性能與容(rong)量(liang)的(de)線性增長;如果采(cai)用多臺存(cun)(cun)儲(chu)(chu)設(she)備疊(die)加的(de)方(fang)式來實現增加的(de)視(shi)頻接(jie)入(ru)和(he)圖(tu)像存(cun)(cun)儲(chu)(chu)需求(qiu),那(nei)么多臺存(cun)(cun)儲(chu)(chu)設(she)備間相互(hu)獨立,缺乏有效的(de)數據整合與協(xie)同(tong)處理能力(li),也會(hui)存(cun)(cun)在(zai)以(yi)(yi)下問(wen)題:
1、存(cun)儲(chu)(chu)設備統一管(guan)(guan)理(li)(li)(li)(li)問題。幾十上百臺(tai)的(de)存(cun)儲(chu)(chu)設備的(de)管(guan)(guan)理(li)(li)(li)(li)必(bi)須由(you)存(cun)儲(chu)(chu)設備廠(chang)商(shang)提供專業的(de)存(cun)儲(chu)(chu)管(guan)(guan)理(li)(li)(li)(li)軟(ruan)件來完成設備的(de)集中管(guan)(guan)理(li)(li)(li)(li)和(he)維護(hu),或者由(you)安(an)防視(shi)頻(pin)監(jian)控(kong)平臺(tai)廠(chang)商(shang)來提供存(cun)儲(chu)(chu)集中管(guan)(guan)理(li)(li)(li)(li)服務軟(ruan)件。但是(shi)由(you)于不(bu)同存(cun)儲(chu)(chu)廠(chang)商(shang)的(de)管(guan)(guan)理(li)(li)(li)(li)接口和(he)協議各不(bu)相同,安(an)防視(shi)頻(pin)監(jian)控(kong)平臺(tai)廠(chang)商(shang)在(zai)應對第(di)三方存(cun)儲(chu)(chu)設備管(guan)(guan)理(li)(li)(li)(li)時將變得異常困難;
2、存(cun)(cun)儲(chu)資(zi)源(yuan)按(an)需分配(pei)問(wen)題(ti)。視頻監控圖像的存(cun)(cun)儲(chu)時間(jian)一般在(zai)設計初期必須規劃好,例如15天、30天、90天等(deng)甚至(zhi)更長時間(jian)。后期需要對(dui)存(cun)(cun)儲(chu)天數進行(xing)調整(zheng)時,單臺存(cun)(cun)儲(chu)設備的空間(jian)資(zi)源(yuan)無論是(shi)擴容(rong)還是(shi)縮容(rong)將無法(fa)真正做到存(cun)(cun)儲(chu)空間(jian)的按(an)需分配(pei);
3、存(cun)(cun)儲(chu)資源融(rong)合問題。安(an)防(fang)行業涵蓋門禁(jin)、報警(jing)、對講、出入口控(kong)制、視(shi)頻監控(kong)、電警(jing)卡(ka)口等子(zi)系統(tong),存(cun)(cun)儲(chu)信(xin)息(xi)包(bao)括(kuo)視(shi)頻圖像、圖片、文(wen)本、告(gao)警(jing)信(xin)息(xi)等。各子(zi)系統(tong)建設不同的存(cun)(cun)儲(chu)用(yong)來保存(cun)(cun)信(xin)息(xi),存(cun)(cun)儲(chu)資源難以有效(xiao)融(rong)合和(he)利(li)用(yong),形成了事實的信(xin)息(xi)孤島(dao);
4、設(she)備性(xing)能和(he)存儲(chu)空間(jian)共(gong)享(xiang)及利用問題。按多(duo)臺(tai)存儲(chu)設(she)備疊加(jia)方式(shi)部署的視頻監控系(xi)(xi)統(tong),一(yi)般先期(qi)建設(she)的存儲(chu)設(she)備已經(jing)滿負荷運載,而后期(qi)建設(she)的存儲(chu)設(she)備在考慮(lv)系(xi)(xi)統(tong)擴展性(xing)后有一(yi)定的性(xing)能和(he)存儲(chu)空間(jian)冗余,但這部分性(xing)能和(he)存儲(chu)空間(jian)冗余就很(hen)難共(gong)享(xiang)、也(ye)不便故障(zhang)切換。
云存儲解決方案
云存儲(chu)(chu)技術(shu)(shu)則能(neng)夠很好的(de)(de)解決上述問(wen)題。云存儲(chu)(chu)是在云計算(suan)和存儲(chu)(chu)概念上延伸(shen)和發展出來(lai)的(de)(de)一(yi)個新的(de)(de)理念,是一(yi)種(zhong)新興的(de)(de)網(wang)(wang)絡存儲(chu)(chu)技術(shu)(shu),它(ta)通過(guo)集群應用、網(wang)(wang)絡技術(shu)(shu)、分布(bu)式文件系統等將網(wang)(wang)絡中大量各種(zhong)不同類型的(de)(de)存儲(chu)(chu)設備通過(guo)應用軟件集合(he)起來(lai)協同工作,共同對(dui)外提供(gong)數據存儲(chu)(chu)和業務訪問(wen)功(gong)能(neng)。云存儲(chu)(chu)可對(dui)系統內的(de)(de)設備資(zi)源(yuan)、帶(dai)寬資(zi)源(yuan)、存儲(chu)(chu)空(kong)間資(zi)源(yuan)等進行(xing)有效整合(he),可為用戶提供(gong)大容量、高(gao)性(xing)能(neng)、高(gao)可靠的(de)(de)透(tou)明存儲(chu)(chu)服務。相(xiang)對(dui)于單臺存儲(chu)(chu)設備來(lai)說,云存儲(chu)(chu)系統具備如下優勢(shi):
1、線(xian)性(xing)(xing)擴展的高并(bing)發讀寫性(xing)(xing)能(neng)(neng)。單臺存(cun)(cun)(cun)儲(chu)設(she)備的并(bing)發讀寫性(xing)(xing)能(neng)(neng)容易受到控制器的CPU、緩存(cun)(cun)(cun)及網絡接口(kou)的能(neng)(neng)力限(xian)制,讀寫帶寬一般在512MB/S~2GB/S之間。而(er)云(yun)存(cun)(cun)(cun)儲(chu)系統可(ke)以利(li)用集群(qun)技術將存(cun)(cun)(cun)儲(chu)節點(dian)間的帶寬和多臺存(cun)(cun)(cun)儲(chu)設(she)備的處理能(neng)(neng)力進行(xing)聚合,隨著存(cun)(cun)(cun)儲(chu)節點(dian)數量的增加(jia)可(ke)以實現讀寫帶寬、處理能(neng)(neng)力的線(xian)性(xing)(xing)增長,從理論上來(lai)說讀寫帶寬可(ke)以是無(wu)限(xian)的。在實測中(zhong),已經達到整體讀寫帶寬超過200GB/S的性(xing)(xing)能(neng)(neng)指標;
2、海量(liang)存(cun)(cun)儲(chu)(chu)空間(jian)(jian)的(de)(de)(de)彈性擴(kuo)展。存(cun)(cun)儲(chu)(chu)空間(jian)(jian)彈性擴(kuo)展采用(yong)(yong)(yong)的(de)(de)(de)是虛(xu)(xu)擬(ni)(ni)(ni)(ni)化(hua)技(ji)術(shu)(shu),把(ba)眾多存(cun)(cun)儲(chu)(chu)設(she)備(bei)(bei)(bei)虛(xu)(xu)擬(ni)(ni)(ni)(ni)化(hua)成單(dan)一的(de)(de)(de)便于(yu)管(guan)理(li)的(de)(de)(de)邏(luo)輯設(she)備(bei)(bei)(bei)形(xing)(xing)(xing)態(tai)(tai)(tai),物理(li)磁(ci)盤(pan)分(fen)割(ge)成虛(xu)(xu)擬(ni)(ni)(ni)(ni)磁(ci)盤(pan),將虛(xu)(xu)擬(ni)(ni)(ni)(ni)磁(ci)盤(pan)深化(hua)采用(yong)(yong)(yong)細粒度管(guan)理(li)和(he)虛(xu)(xu)擬(ni)(ni)(ni)(ni)磁(ci)盤(pan)操作技(ji)術(shu)(shu),從而獲(huo)得更高更靈(ling)活的(de)(de)(de)管(guan)理(li)效率(lv)(lv)(lv)、性能和(he)容(rong)(rong)量(liang)空間(jian)(jian),通過虛(xu)(xu)擬(ni)(ni)(ni)(ni)化(hua)磁(ci)盤(pan)分(fen)配(pei)技(ji)術(shu)(shu),提高磁(ci)盤(pan)利用(yong)(yong)(yong)率(lv)(lv)(lv)。存(cun)(cun)儲(chu)(chu)虛(xu)(xu)擬(ni)(ni)(ni)(ni)化(hua)技(ji)術(shu)(shu)可以(yi)(yi)很好地(di)解決當前各種形(xing)(xing)(xing)態(tai)(tai)(tai)設(she)備(bei)(bei)(bei)的(de)(de)(de)存(cun)(cun)儲(chu)(chu)容(rong)(rong)量(liang)的(de)(de)(de)統一管(guan)理(li)和(he)磁(ci)盤(pan)容(rong)(rong)量(liang)的(de)(de)(de)動態(tai)(tai)(tai)分(fen)割(ge),實現自動化(hua)管(guan)理(li),云存(cun)(cun)儲(chu)(chu)中的(de)(de)(de)存(cun)(cun)儲(chu)(chu)設(she)備(bei)(bei)(bei)數量(liang)龐大(da)且(qie)基(ji)于(yu)網絡(luo)(luo)的(de)(de)(de)異(yi)地(di)分(fen)布。現在(zai)(zai)的(de)(de)(de)存(cun)(cun)儲(chu)(chu)設(she)備(bei)(bei)(bei)類(lei)型非常豐富,包括(kuo)傳統的(de)(de)(de)存(cun)(cun)儲(chu)(chu)設(she)備(bei)(bei)(bei)如IPSAN、FCSAN、NAS、FCIP等,不同(tong)類(lei)型和(he)形(xing)(xing)(xing)態(tai)(tai)(tai)設(she)備(bei)(bei)(bei)之間(jian)(jian)的(de)(de)(de)容(rong)(rong)量(liang)管(guan)理(li)、設(she)備(bei)(bei)(bei)管(guan)理(li),對于(yu)龐大(da)的(de)(de)(de)存(cun)(cun)儲(chu)(chu)云來講都(dou)是一個(ge)巨大(da)的(de)(de)(de)挑戰,所有(you)的(de)(de)(de)存(cun)(cun)儲(chu)(chu)資源都(dou)必須得到有(you)效的(de)(de)(de)管(guan)理(li)和(he)利用(yong)(yong)(yong)。采用(yong)(yong)(yong)虛(xu)(xu)擬(ni)(ni)(ni)(ni)化(hua)和(he)存(cun)(cun)儲(chu)(chu)池技(ji)術(shu)(shu),可以(yi)(yi)把(ba)不同(tong)類(lei)型的(de)(de)(de)存(cun)(cun)儲(chu)(chu)設(she)備(bei)(bei)(bei)虛(xu)(xu)擬(ni)(ni)(ni)(ni)化(hua)成為存(cun)(cun)儲(chu)(chu)網絡(luo)(luo)上的(de)(de)(de)一個(ge)節點(dian),在(zai)(zai)邏(luo)輯結構上消(xiao)除異(yi)構形(xing)(xing)(xing)態(tai)(tai)(tai)設(she)備(bei)(bei)(bei)的(de)(de)(de)差異(yi),把(ba)容(rong)(rong)量(liang)匯聚成一個(ge)巨大(da)的(de)(de)(de)虛(xu)(xu)擬(ni)(ni)(ni)(ni)存(cun)(cun)儲(chu)(chu)池,并可以(yi)(yi)更容(rong)(rong)易(yi)地(di)進行邏(luo)輯容(rong)(rong)量(liang)分(fen)割(ge),大(da)幅度提升存(cun)(cun)儲(chu)(chu)效率(lv)(lv)(lv)。
3、統(tong)一(yi)(yi)(yi)(yi)(yi)的設(she)(she)(she)備(bei)(bei)(bei)(bei)管理(li)與資源呈現(xian)。云(yun)存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)解決了(le)多臺(tai)存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)設(she)(she)(she)備(bei)(bei)(bei)(bei)疊加(jia)帶來的設(she)(she)(she)備(bei)(bei)(bei)(bei)管理(li)問題。通(tong)過集群技術,將幾(ji)(ji)十臺(tai)、幾(ji)(ji)百臺(tai)的存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)設(she)(she)(she)備(bei)(bei)(bei)(bei)統(tong)一(yi)(yi)(yi)(yi)(yi)管理(li),通(tong)過統(tong)一(yi)(yi)(yi)(yi)(yi)的運維和管理(li)界面,向用(yong)(yong)(yong)(yong)戶呈現(xian)整個(ge)云(yun)存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)系統(tong)的資源和設(she)(she)(she)備(bei)(bei)(bei)(bei)使用(yong)(yong)(yong)(yong)情(qing)況:整體空間(jian)(jian)利用(yong)(yong)(yong)(yong)率、單設(she)(she)(she)備(bei)(bei)(bei)(bei)空間(jian)(jian)利用(yong)(yong)(yong)(yong)率、讀(du)寫帶寬、設(she)(she)(she)備(bei)(bei)(bei)(bei)負載情(qing)況、設(she)(she)(she)備(bei)(bei)(bei)(bei)運行狀態等。例如由二十臺(tai)云(yun)存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)設(she)(she)(she)備(bei)(bei)(bei)(bei)構建的一(yi)(yi)(yi)(yi)(yi)個(ge)一(yi)(yi)(yi)(yi)(yi)千路(lu)視頻10PB的云(yun)存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)系統(tong),用(yong)(yong)(yong)(yong)戶在使用(yong)(yong)(yong)(yong)過程(cheng)中,不需(xu)關心前端10000路(lu)攝像機的視頻圖(tu)像究(jiu)竟是存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)在哪一(yi)(yi)(yi)(yi)(yi)臺(tai)設(she)(she)(she)備(bei)(bei)(bei)(bei)上,只需(xu)要選擇(ze)后端這個(ge)10PB大(da)小的空間(jian)(jian)統(tong)一(yi)(yi)(yi)(yi)(yi)存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)資源池,就可以(yi)非常方便的完成(cheng)存(cun)(cun)(cun)(cun)儲(chu)(chu)(chu)部(bu)署,可極大(da)簡化用(yong)(yong)(yong)(yong)戶管理(li)與維護(hu)的復雜度(du),有效提高工作效率;
4、提(ti)升設(she)(she)備(bei)資源處(chu)理(li)(li)和(he)存(cun)(cun)儲空(kong)(kong)間共(gong)享能力(li)。由(you)于設(she)(she)備(bei)處(chu)理(li)(li)能力(li)、存(cun)(cun)儲空(kong)(kong)間、帶寬(kuan)無(wu)法(fa)實現聚合(he),單臺存(cun)(cun)儲設(she)(she)備(bei)的(de)(de)處(chu)理(li)(li)能力(li)和(he)存(cun)(cun)儲空(kong)(kong)間都無(wu)法(fa)與其他設(she)(she)備(bei)進(jin)行有效(xiao)共(gong)享,而云(yun)存(cun)(cun)儲系統(tong)則(ze)可以靈活的(de)(de)進(jin)行統(tong)一管理(li)(li)和(he)共(gong)享。云(yun)存(cun)(cun)儲采用統(tong)一的(de)(de)全局命(ming)名(ming)空(kong)(kong)間,可以提(ti)供多種數(shu)據訪(fang)問接口(SOAP、REST、HDFS、POSIX等),支持主流的(de)(de)文件與數(shu)據傳(chuan)輸訪(fang)問協議(NFS/CIFS、iSCSI、HTTP、FTP等),可以與各種上層應(ying)用程序進(jin)行完美(mei)配合(he);
5、更高(gao)的(de)(de)(de)(de)數(shu)據(ju)(ju)安全性與可靠性。像宇視(shi)(shi)科技(ji)這樣的(de)(de)(de)(de)行業優秀存(cun)(cun)儲(chu)(chu)設(she)備(bei)廠商(shang)已經(jing)通(tong)過(guo)(guo)模塊(kuai)化(hua)的(de)(de)(de)(de)部件冗余(yu)設(she)計(ji)來實(shi)現(xian)(xian)(xian)單臺存(cun)(cun)儲(chu)(chu)設(she)備(bei)的(de)(de)(de)(de)數(shu)據(ju)(ju)安全性和(he)可靠性:雙(shuang)控制器、雙(shuang)電(dian)源、雙(shuang)電(dian)池、雙(shuang)風扇、雙(shuang)BIOS等;數(shu)據(ju)(ju)安全性可以通(tong)過(guo)(guo)RAID、鏡像、快照、復制、CDP等技(ji)術(shu)(shu)實(shi)現(xian)(xian)(xian)。但是(shi)當(dang)存(cun)(cun)儲(chu)(chu)設(she)備(bei)自身出現(xian)(xian)(xian)故(gu)障(zhang)(zhang)或數(shu)據(ju)(ju)中心機房(fang)斷電(dian)時,整個數(shu)據(ju)(ju)讀寫(xie)業務依然將無法交付。所(suo)以許多存(cun)(cun)儲(chu)(chu)系統,通(tong)過(guo)(guo)災(zai)(zai)(zai)備(bei)方(fang)案進行保障(zhang)(zhang):同城/異地災(zai)(zai)(zai)備(bei)、兩地三中心、雙(shuang)活等方(fang)案來保證業務的(de)(de)(de)(de)連續性和(he)可用性,但是(shi)在應對(dui)視(shi)(shi)頻監控領域的(de)(de)(de)(de)海(hai)量數(shu)據(ju)(ju)存(cun)(cun)儲(chu)(chu),采用這些災(zai)(zai)(zai)備(bei)方(fang)案明顯難(nan)以實(shi)現(xian)(xian)(xian)(數(shu)據(ju)(ju)量過(guo)(guo)大,建設(she)成本(ben)太高(gao))。云存(cun)(cun)儲(chu)(chu)除了單機性能(neng)(neng)及(ji)災(zai)(zai)(zai)備(bei)之外(wai),還通(tong)過(guo)(guo)N+M糾刪(shan)碼技(ji)術(shu)(shu)實(shi)現(xian)(xian)(xian)網絡(luo)RAID功能(neng)(neng)、多副本(ben)復制技(ji)術(shu)(shu)能(neng)(neng)夠實(shi)現(xian)(xian)(xian)跨存(cun)(cun)儲(chu)(chu)設(she)備(bei)間的(de)(de)(de)(de)數(shu)據(ju)(ju)保護。如果(guo)某臺存(cun)(cun)儲(chu)(chu)設(she)備(bei)故(gu)障(zhang)(zhang),其上承載的(de)(de)(de)(de)數(shu)據(ju)(ju)寫(xie)入業務都會自動轉移到云存(cun)(cun)儲(chu)(chu)系統內的(de)(de)(de)(de)其他存(cun)(cun)儲(chu)(chu)設(she)備(bei)上,對(dui)于(yu)數(shu)據(ju)(ju)讀取業務,則(ze)可以通(tong)過(guo)(guo)其他非故(gu)障(zhang)(zhang)存(cun)(cun)儲(chu)(chu)設(she)備(bei)運算的(de)(de)(de)(de)方(fang)式或者訪問(wen)副本(ben)的(de)(de)(de)(de)方(fang)式完成;
6、總擁(yong)有成(cheng)本(TCO)較低。云存儲(chu)系統(tong)(tong)采用(yong)高(gao)性價比(bi)的(de)(de)(de)以(yi)太(tai)網(wang)絡和(he)存儲(chu)節(jie)點構成(cheng),比(bi)傳統(tong)(tong)的(de)(de)(de)中(zhong)高(gao)端存儲(chu)設(she)備具有更好的(de)(de)(de)性價比(bi)優勢。云存儲(chu)擴(kuo)容相對比(bi)較靈活(huo),可根據業務隨時(shi)隨地的(de)(de)(de)進(jin)行彈性擴(kuo)展,用(yong)戶(hu)不需(xu)要在建(jian)設(she)初(chu)期一次性購買,當需(xu)要時(shi)可在線(xian)進(jin)行性能和(he)容量(liang)的(de)(de)(de)方便靈活(huo)的(de)(de)(de)擴(kuo)展,可以(yi)在建(jian)設(she)、管理、運(yun)行、維(wei)護等上大大節(jie)省用(yong)戶(hu)的(de)(de)(de)總擁(yong)有成(cheng)本(TCO)。
為了充分展示云存儲的特性,以下參考宇視科技的存儲產品技術來闡述云存儲的幾項技術:
1、高(gao)(gao)性(xing)能的(de)端(duan)到端(duan)iSCSI塊直(zhi)存(cun)技術。宇視(shi)科技視(shi)頻(pin)監(jian)(jian)控(kong)(kong)存(cun)儲(chu)(chu)產(chan)品(pin),針對視(shi)頻(pin)監(jian)(jian)控(kong)(kong)業(ye)務的(de)特點,結合宇視(shi)科技的(de)IP全交換技術、iSCSI塊直(zhi)存(cun)解(jie)(jie)決方(fang)案,從(cong)(cong)不同層面進(jin)行優化(hua),提高(gao)(gao)視(shi)頻(pin)監(jian)(jian)控(kong)(kong)的(de)性(xing)能,從(cong)(cong)而達到了(le)業(ye)界領(ling)先(xian)的(de)性(xing)能水平。它實現前(qian)端(duan)攝像(xiang)頭將視(shi)頻(pin)數據通(tong)過iSCSI協議(yi)以塊直(zhi)存(cun)的(de)方(fang)式寫入(ru)(ru)(ru)存(cun)儲(chu)(chu)設備,無需經過媒(mei)體服務器,既縮短了(le)I/O路徑,也(ye)不存(cun)在文(wen)件存(cun)儲(chu)(chu)的(de)碎片問題(ti),從(cong)(cong)解(jie)(jie)決方(fang)案層面進(jin)行優化(hua),極大地提高(gao)(gao)了(le)視(shi)頻(pin)監(jian)(jian)控(kong)(kong)的(de)接入(ru)(ru)(ru)和寫入(ru)(ru)(ru)性(xing)能。
IP全交(jiao)換(huan)技術(shu)和端到(dao)端iSCSI塊直存(cun)解決方案(an)與傳統IP流媒體(ti)交(jiao)換(huan)方案(an)對比(bi)如下圖(tu):
2、創新的(de)(de)(de)磁盤數(shu)據(ju)保(bao)護技術(shu)(shu)和RAID改(gai)進技術(shu)(shu)的(de)(de)(de)高(gao)可(ke)靠(kao)性。宇視(shi)科技視(shi)頻監(jian)控存儲產品提供全(quan)方位的(de)(de)(de)數(shu)據(ju)保(bao)護,從磁盤級(ji)到系(xi)統間級(ji),多(duo)重保(bao)護,為數(shu)據(ju)安全(quan)保(bao)駕護航(hang),這里重點介紹其(qi)中幾種(zhong)技術(shu)(shu)。
(1)磁盤壞塊替換。當磁盤出現(xian)介質寫錯(cuo)誤之后,將I/O重新寫到保留(liu)(liu)的(de)一塊區(qu)域(yu),下次(ci)讀這個(ge)I/O的(de)時(shi)候(hou),就直接從這塊保留(liu)(liu)的(de)區(qu)域(yu)讀出;
(2)創新的(de)超(chao)(chao)級RAID多重(zhong)(zhong)重(zhong)(zhong)建(jian)(jian)方(fang)式(shi)(shi)。“無(wu)感知”局(ju)部重(zhong)(zhong)建(jian)(jian),如(ru)磁盤(pan)短(duan)暫(zan)離(li)線,或(huo)者(zhe)被錯(cuo)誤拔(ba)(ba)出后重(zhong)(zhong)新插入時(shi)(shi)只重(zhong)(zhong)建(jian)(jian)數據發生變(bian)化(hua)的(de)條(tiao)塊,不對整個硬盤(pan)進行重(zhong)(zhong)建(jian)(jian);快速重(zhong)(zhong)建(jian)(jian),當(dang)硬盤(pan)健康(kang)指數超(chao)(chao)標或(huo)者(zhe)硬盤(pan)出現無(wu)法(fa)修(xiu)復的(de)讀寫錯(cuo)誤時(shi)(shi),通過(guo)快速拷貝(bei)方(fang)式(shi)(shi)來(lai)重(zhong)(zhong)建(jian)(jian)數據,無(wu)法(fa)拷貝(bei)的(de)條(tiao)塊,采用異或(huo)方(fang)式(shi)(shi)重(zhong)(zhong)建(jian)(jian);重(zhong)(zhong)構重(zhong)(zhong)建(jian)(jian),如(ru)硬盤(pan)無(wu)法(fa)識別(bie),長時(shi)(shi)間拔(ba)(ba)出時(shi)(shi),按照傳(chuan)統的(de)重(zhong)(zhong)建(jian)(jian)方(fang)式(shi)(shi),將數據通過(guo)異或(huo)運算(suan),將數據恢復到(dao)熱備盤(pan)上;
3、塊(kuai)虛(xu)擬(ni)化RAID-NT。塊(kuai)虛(xu)擬(ni)化RAID-NT技(ji)(ji)術(shu)是浙江宇(yu)視科技(ji)(ji)根據傳(chuan)統RAID技(ji)(ji)術(shu)跟未來存儲(chu)技(ji)(ji)術(shu)的發展趨(qu)勢,推出的新一代存儲(chu)設計技(ji)(ji)術(shu),結合(he)高(gao)速緩(huan)存智能排序技(ji)(ji)術(shu)大(da)大(da)提高(gao)了業務性能、重建性能,基本原理(li)如下(xia)圖:
塊(kuai)(kuai)虛(xu)擬(ni)化(hua)RAID-NT最大(da)的(de)(de)(de)優勢就(jiu)是快(kuai)速重(zhong)建(jian)(jian)(jian)(jian)。隨著硬盤(pan)(pan)(pan)容量(liang)越(yue)(yue)來越(yue)(yue)大(da),RAID重(zhong)建(jian)(jian)(jian)(jian)時(shi)間越(yue)(yue)來越(yue)(yue)長,導致陣列失效(xiao)的(de)(de)(de)風險大(da)大(da)增加。一(yi)旦在重(zhong)建(jian)(jian)(jian)(jian)的(de)(de)(de)過程中(zhong),其他硬盤(pan)(pan)(pan)發生(sheng)故(gu)障,則會導致整(zheng)個(ge)陣列數(shu)據(ju)的(de)(de)(de)丟失。塊(kuai)(kuai)虛(xu)擬(ni)化(hua)RAID-NT主要就(jiu)是為(wei)了解決這個(ge)問題而設計的(de)(de)(de),不像傳(chuan)統RAID重(zhong)建(jian)(jian)(jian)(jian),只有RAID陣列中(zhong)的(de)(de)(de)硬盤(pan)(pan)(pan)參(can)(can)與重(zhong)建(jian)(jian)(jian)(jian),數(shu)據(ju)重(zhong)構到熱備盤(pan)(pan)(pan),受限(xian)于熱備盤(pan)(pan)(pan)的(de)(de)(de)瓶頸。RAID-NT重(zhong)建(jian)(jian)(jian)(jian),整(zheng)個(ge)磁(ci)(ci)(ci)盤(pan)(pan)(pan)池中(zhong)所(suo)有的(de)(de)(de)磁(ci)(ci)(ci)盤(pan)(pan)(pan)都會參(can)(can)與重(zhong)建(jian)(jian)(jian)(jian),磁(ci)(ci)(ci)盤(pan)(pan)(pan)池中(zhong)的(de)(de)(de)磁(ci)(ci)(ci)盤(pan)(pan)(pan)越(yue)(yue)多(duo),參(can)(can)與重(zhong)建(jian)(jian)(jian)(jian)的(de)(de)(de)磁(ci)(ci)(ci)盤(pan)(pan)(pan)就(jiu)越(yue)(yue)多(duo),重(zhong)建(jian)(jian)(jian)(jian)當然也就(jiu)越(yue)(yue)快(kuai)。重(zhong)建(jian)(jian)(jian)(jian)的(de)(de)(de)時(shi)間窗大(da)大(da)縮短了,陣列失效(xiao)的(de)(de)(de)風險也大(da)大(da)減(jian)少。
4、設備(bei)異常掉(diao)(diao)電(dian)后的(de)數(shu)據(ju)(ju)(ju)保(bao)(bao)險(xian)箱技(ji)術(shu)。在設備(bei)異常掉(diao)(diao)電(dian)后,系統(tong)配置(zhi)的(de)電(dian)池(chi)會繼續給系統(tong)供(gong)電(dian)以保(bao)(bao)證寫緩(huan)存整個空間(jian)數(shu)據(ju)(ju)(ju)保(bao)(bao)存到內置(zhi)的(de)“數(shu)據(ju)(ju)(ju)保(bao)(bao)險(xian)箱”中(zhong)。當設備(bei)恢復(fu)供(gong)電(dian)正常重啟后,系統(tong)會將“數(shu)據(ju)(ju)(ju)保(bao)(bao)險(xian)箱”的(de)緩(huan)存數(shu)據(ju)(ju)(ju)加載(zai)到系統(tong)緩(huan)存中(zhong),并根據(ju)(ju)(ju)策略及時把緩(huan)存數(shu)據(ju)(ju)(ju)刷到RAID磁盤中(zhong),確保(bao)(bao)數(shu)據(ju)(ju)(ju)在任何情(qing)況下都不會丟失。
5、多重數據(ju)(ju)(ju)(ju)保護網絡RAID糾(jiu)刪(shan)碼(ma)技術。宇視云存(cun)儲(chu)通過支持N+M糾(jiu)刪(shan)碼(ma)技術實現網絡RAID功能,支持節點間(jian)的(de)(de)數據(ju)(ju)(ju)(ju)保護。文件寫入(ru)的(de)(de)時候(hou),會(hui)分(fen)成(cheng)固定大小的(de)(de)數據(ju)(ju)(ju)(ju)塊,每個(ge)數據(ju)(ju)(ju)(ju)塊分(fen)成(cheng)N片(pian),通過糾(jiu)刪(shan)碼(ma)算法,得到N+M個(ge)數據(ju)(ju)(ju)(ju)分(fen)片(pian),離散寫入(ru)不(bu)同的(de)(de)存(cun)儲(chu)節點。取數據(ju)(ju)(ju)(ju)塊的(de)(de)時候(hou),只需要讀取任意N個(ge)數據(ju)(ju)(ju)(ju)分(fen)片(pian)就可以了。相比3份復(fu)制33%的(de)(de)磁盤利用率,2份復(fu)制50%的(de)(de)硬(ying)盤利用率,N+M糾(jiu)刪(shan)碼(ma)高達80%的(de)(de)硬(ying)盤利用率,大大節省(sheng)了用戶成(cheng)本(ben)。如下為4+2的(de)(de)糾(jiu)刪(shan)圖(tu)。
源數據分片和冗余數據分片
結束語
安(an)防視(shi)頻(pin)圖像的存儲(chu)特點(dian)是(shi)對實時的存儲(chu)性能要求較(jiao)高,而云(yun)存儲(chu)的系統架構(gou)(gou)決定了它能夠(gou)以(yi)較(jiao)低的總擁有(you)成本滿足海(hai)(hai)量高清視(shi)頻(pin)的并(bing)發(fa)寫入/讀取,并(bing)能實現(xian)快(kuai)速配置和(he)即插即用。目前云(yun)存儲(chu)在平安(an)城(cheng)市(shi)、智能交通等大行業市(shi)場以(yi)及(ji)基于公(gong)有(you)云(yun)架構(gou)(gou)的民用市(shi)場已(yi)經得到應用,今(jin)后(hou)隨著網(wang)絡化更全面普及(ji)和(he)海(hai)(hai)量視(shi)頻(pin)共享需(xu)求的快(kuai)速增(zeng)長,各(ge)行業的推(tui)廣應用前景將更加廣闊。
縱觀整(zheng)(zheng)個(ge)國內(nei)外安(an)(an)防(fang)(fang)視(shi)頻(pin)監(jian)(jian)(jian)控(kong)市(shi)(shi)場(chang)(chang)(chang)(chang)云(yun)(yun)存(cun)(cun)儲(chu)廠(chang)商(shang)(shang)現狀,數(shu)(shu)(shu)據存(cun)(cun)儲(chu)廠(chang)商(shang)(shang)、安(an)(an)防(fang)(fang)存(cun)(cun)儲(chu)廠(chang)商(shang)(shang)云(yun)(yun)集、全力角逐:安(an)(an)防(fang)(fang)廠(chang)商(shang)(shang)基于對(dui)業務的(de)理解順勢推(tui)出安(an)(an)防(fang)(fang)專用(yong)(yong)云(yun)(yun)存(cun)(cun)儲(chu),數(shu)(shu)(shu)據存(cun)(cun)儲(chu)廠(chang)商(shang)(shang)力推(tui)通用(yong)(yong)云(yun)(yun)存(cun)(cun)儲(chu)以(yi)期滿足(zu)(zu)用(yong)(yong)戶(hu)多樣化需(xu)(xu)求(qiu)(qiu),整(zheng)(zheng)個(ge)安(an)(an)防(fang)(fang)存(cun)(cun)儲(chu)市(shi)(shi)場(chang)(chang)(chang)(chang)競(jing)(jing)爭日趨激烈。但是不管數(shu)(shu)(shu)據存(cun)(cun)儲(chu)廠(chang)商(shang)(shang)還是安(an)(an)防(fang)(fang)存(cun)(cun)儲(chu)廠(chang)商(shang)(shang)要(yao)做好安(an)(an)防(fang)(fang)云(yun)(yun)存(cun)(cun)儲(chu),都需(xu)(xu)要(yao)不斷自(zi)我提升(sheng):數(shu)(shu)(shu)據存(cun)(cun)儲(chu)廠(chang)商(shang)(shang)應該多了解安(an)(an)防(fang)(fang)視(shi)頻(pin)監(jian)(jian)(jian)控(kong)業務,了解業務模型的(de)差異,使(shi)通用(yong)(yong)云(yun)(yun)存(cun)(cun)儲(chu)更(geng)(geng)符合安(an)(an)防(fang)(fang)視(shi)頻(pin)監(jian)(jian)(jian)控(kong)行業的(de)實際需(xu)(xu)求(qiu)(qiu);安(an)(an)防(fang)(fang)廠(chang)商(shang)(shang)則應該在提供(gong)多種數(shu)(shu)(shu)據訪問接口,滿足(zu)(zu)用(yong)(yong)戶(hu)多樣化業務需(xu)(xu)求(qiu)(qiu)上多下功夫,相互取長補(bu)短(duan),滿足(zu)(zu)用(yong)(yong)戶(hu)實際使(shi)用(yong)(yong)需(xu)(xu)求(qiu)(qiu)才是產(chan)品(pin)獲得市(shi)(shi)場(chang)(chang)(chang)(chang)占有(you)率的(de)制勝法寶。而硬(ying)(ying)盤(pan)廠(chang)商(shang)(shang)也要(yao)針對(dui)安(an)(an)防(fang)(fang)視(shi)頻(pin)監(jian)(jian)(jian)控(kong)存(cun)(cun)儲(chu)市(shi)(shi)場(chang)(chang)(chang)(chang)提供(gong)容量更(geng)(geng)大、穩定性(xing)更(geng)(geng)高、具有(you)更(geng)(geng)高性(xing)價比的(de)硬(ying)(ying)盤(pan)產(chan)品(pin),促使(shi)整(zheng)(zheng)個(ge)安(an)(an)防(fang)(fang)云(yun)(yun)存(cun)(cun)儲(chu)的(de)價格更(geng)(geng)加具有(you)市(shi)(shi)場(chang)(chang)(chang)(chang)競(jing)(jing)爭力。
可以預見,隨著越(yue)(yue)來越(yue)(yue)多基于海量數據的高清(qing)視頻(pin)監控業務應用依托云存(cun)儲架構解決方案,云存(cun)儲在安(an)防領域(yu)未來的市場應用將更加寬廣。