存(cun)儲產(chan)品作為視頻(pin)監控解決(jue)方案必不可(ke)少的(de)一(yi)個(ge)部件,其網絡位置雖然處于后端(duan),用戶不能直(zhi)觀體驗(yan),但是位于前端(duan)的(de)攝像頭產(chan)生的(de)海量視頻(pin)數(shu)據(ju)需要(yao)(yao)7x24 小時不間斷的(de)寫入到存(cun)儲設備(bei)中,對存(cun)儲產(chan)品的(de)性(xing)(xing)能和(he)可(ke)靠(kao)性(xing)(xing)有非常高(gao)的(de)要(yao)(yao)求。視頻(pin)錄(lu)像一(yi)旦丟(diu)失,將會給(gei)用戶帶來(lai)極大(da)的(de)損(sun)失,其重(zhong)要(yao)(yao)性(xing)(xing)不言(yan)而喻(yu)。宇視科技存(cun)儲產(chan)品有十余年的(de)深厚積(ji)累,深刻理解監控業(ye)務和(he)存(cun)儲技術,在(zai)性(xing)(xing)能和(he)可(ke)靠(kao)性(xing)(xing)方面在(zai)業(ye)界樹立了(le)很(hen)好的(de)口碑。
一、高性能
宇(yu)視(shi)視(shi)頻(pin)監控存儲產品,針對視(shi)頻(pin)監控業務(wu)的特點(dian),配合宇(yu)視(shi)iSCSI 塊(kuai)直存解決方(fang)案,從(cong)不同層(ceng)面進行優化,提高視(shi)頻(pin)監控的性能,從(cong)而達到了業界(jie)領(ling)先的性能水平。
iSCSI 塊直存解決方案
宇視視頻(pin)(pin)監控存(cun)儲(chu)產品配合iSCSI 塊(kuai)直存(cun)整體解(jie)決方案,前端攝像(xiang)頭將視頻(pin)(pin)數據通(tong)過(guo)iSCSI 協(xie)議(yi)以塊(kuai)直存(cun)的方式寫入存(cun)儲(chu)設備,無需(xu)經過(guo)媒體服(fu)務(wu)器,既縮(suo)短(duan)了(le)I/O 路徑,也不存(cun)在文件(jian)存(cun)儲(chu)的碎片問題,從解(jie)決方案層(ceng)面(mian)進行優化,極大(da)地(di)提高了(le)視頻(pin)(pin)監控的接入和寫入性能。
智能緩存技術
宇視(shi)視(shi)頻監控(kong)存(cun)(cun)儲產(chan)品采用寫(xie)(xie)緩存(cun)(cun)技術,將寫(xie)(xie)入(ru)到存(cun)(cun)儲設(she)備(bei)的(de)(de)I/O,先寫(xie)(xie)入(ru)到緩存(cun)(cun)中,緩存(cun)(cun)中的(de)(de)數據(ju),按照一定(ding)的(de)(de)規則將這些數據(ju)刷到后端存(cun)(cun)儲中去。Cache 刷新算法是通(tong)過LBA進(jin)行智(zhi)能(neng)(neng)分析和排序,無論是隨機寫(xie)(xie),還是順序寫(xie)(xie),都可(ke)以高效(xiao)、智(zhi)能(neng)(neng)地(di)整合Cache 中的(de)(de)數據(ju),以便最大限度地(di)提高系統的(de)(de)寫(xie)(xie)入(ru)性能(neng)(neng)。
讀緩(huan)存(cun)可以自(zi)動識別當前I/O 的(de)順序(xu)讀,并根據(ju)業務模型(xing)動態啟停(ting)預(yu)取(qu)功(gong)能(neng),預(yu)取(qu)可以有效提高系統的(de)讀性(xing)能(neng)。宇視視頻監(jian)控存(cun)儲產(chan)品讀緩(huan)存(cun)的(de)智能(neng)預(yu)取(qu)算法不僅可以根據(ju)當前的(de)業務模型(xing)自(zi)動調整預(yu)取(qu)深度(du),而且針對(dui)業務寫入特(te)點,還可以自(zi)動設置預(yu)取(qu)模型(xing),最大限度(du)地提高讀性(xing)能(neng)。
■專利:
一種動態調整存儲設備Cache 讀寫命令數的方法和裝置201410313524.6
一種動態分配緩存容量的方法以及裝置201410153810.0
一種動態調整緩存刷(shua)新策略的方法和裝(zhuang)置201410067092.5
業務讀寫及重建I/O 智能調度技術
宇視(shi)視(shi)頻監控存(cun)儲產品業務讀寫及(ji)重(zhong)建(jian)(jian)(jian)I/O 智能(neng)調度技術(shu),系統(tong)(tong)會(hui)根據(ju)當前系統(tong)(tong)繁忙情(qing)況(kuang)自動調整(zheng)重(zhong)建(jian)(jian)(jian)的速(su)度,當系統(tong)(tong)非常(chang)繁忙的時(shi)候(hou)(hou),主動降低RAID 重(zhong)建(jian)(jian)(jian)速(su)度,減少對于業務讀寫性能(neng)的影響,當系統(tong)(tong)比較空閑的時(shi)候(hou)(hou),提高RAID 重(zhong)建(jian)(jian)(jian)速(su)度,有效提高系統(tong)(tong)資源利用率。
■專利:
一種動(dong)態調整冗余(yu)RAID 陣列重建的裝(zhuang)置和方法(fa)201310260315.5
二、高可靠性
宇視視頻監控存儲(chu)產品(pin)提供全方位(wei)的數(shu)據(ju)保護,從磁盤級到系(xi)統間級,多重(zhong)保護,為數(shu)據(ju)安全保駕護航,這里重(zhong)點介紹其(qi)中幾種技術。
磁盤級
■磁盤故障修復
故障修復條件:冗余陣列有讀介質錯誤
故(gu)障修(xiu)(xiu)復(fu)處理:通過(guo)讀同一條帶的其他磁(ci)盤的數據,進(jin)行(xing)異或運(yun)算,計算出讀介質錯(cuo)誤(wu)地址的正確數據,重(zhong)新寫到讀錯(cuo)誤(wu)的地方,修(xiu)(xiu)復(fu)讀錯(cuo)誤(wu)
■磁盤壞塊替換
壞塊替換條件:磁盤出現介質寫錯誤
壞塊替換處理:出現介(jie)質寫錯(cuo)誤之后,將I/O 重新寫到(dao)保留的一塊區域,下次讀這(zhe)個(ge)I/O 的時候,就(jiu)直接(jie)從這(zhe)塊保留的區域讀出
■專利:
一(yi)種(zhong)磁盤(pan)損壞扇區(qu)屏蔽方法及裝置(zhi)201210238194.X
RAID級
■超級RAID
■塊虛擬化RAID-NT
塊虛擬化RAID-NT 技(ji)術(shu)(shu),類似于3Par 塊虛擬化Fast RAID 技(ji)術(shu)(shu),將硬盤(pan)分成很多(duo)相同(tong)(tong)大小的(de)(de)虛擬磁(ci)盤(pan)VD。不同(tong)(tong)磁(ci)盤(pan)的(de)(de)虛擬磁(ci)盤(pan)組成具有RAID 屬性的(de)(de)RAID-LUN。當一塊硬盤(pan)故(gu)障(zhang),需要重(zhong)建的(de)(de)時(shi)候,系(xi)統會知道該硬盤(pan)的(de)(de)VD 所涉及(ji)到的(de)(de)RAID-LUN。如下圖,磁(ci)盤(pan)0 故(gu)障(zhang),磁(ci)盤(pan)0 所涉及(ji)的(de)(de)RAID-LUN0、 RAID-LUN2、RAID-LUN4 需要重(zhong)構(gou)(gou)(gou),RAID-LUN0 的(de)(de)重(zhong)構(gou)(gou)(gou)塊是(shi)硬盤(pan)3 上的(de)(de)塊29,RAID-LUN2 的(de)(de)重(zhong)構(gou)(gou)(gou)塊是(shi)硬盤(pan)4 上的(de)(de)塊38,RAID-LUN4 的(de)(de)重(zhong)構(gou)(gou)(gou)塊是(shi)硬盤(pan)2 的(de)(de)塊19,這三條重(zhong)構(gou)(gou)(gou)流可以同(tong)(tong)時(shi)執行。
RAID-NT 塊虛擬化最大的(de)(de)(de)(de)優(you)勢就(jiu)(jiu)是(shi)快速重(zhong)(zhong)(zhong)建(jian)。隨著硬(ying)盤(pan)(pan)容量越(yue)(yue)(yue)(yue)來(lai)越(yue)(yue)(yue)(yue)大,RAID 重(zhong)(zhong)(zhong)建(jian)時間越(yue)(yue)(yue)(yue)來(lai)越(yue)(yue)(yue)(yue)長,導致陣列(lie)失效的(de)(de)(de)(de)風險大大增加。一旦在重(zhong)(zhong)(zhong)建(jian)的(de)(de)(de)(de)過程中,其他硬(ying)盤(pan)(pan)發生故(gu)障(zhang),則(ze)會(hui)導致整(zheng)個陣列(lie)數據(ju)的(de)(de)(de)(de)丟失。RAID-NT 主(zhu)要就(jiu)(jiu)是(shi)為了解決這個問題而(er)設計的(de)(de)(de)(de)。傳(chuan)統RAID 重(zhong)(zhong)(zhong)建(jian),只有RAID 陣列(lie)中的(de)(de)(de)(de)硬(ying)盤(pan)(pan)參與重(zhong)(zhong)(zhong)建(jian),數據(ju)重(zhong)(zhong)(zhong)構到(dao)熱備(bei)(bei)盤(pan)(pan),受限于熱備(bei)(bei)盤(pan)(pan)的(de)(de)(de)(de)瓶頸。RAID-NT 重(zhong)(zhong)(zhong)建(jian),整(zheng)個磁(ci)(ci)(ci)盤(pan)(pan)池中所有的(de)(de)(de)(de)磁(ci)(ci)(ci)盤(pan)(pan)都會(hui)參與重(zhong)(zhong)(zhong)建(jian),磁(ci)(ci)(ci)盤(pan)(pan)池中的(de)(de)(de)(de)磁(ci)(ci)(ci)盤(pan)(pan)越(yue)(yue)(yue)(yue)多(duo),參與重(zhong)(zhong)(zhong)建(jian)的(de)(de)(de)(de)磁(ci)(ci)(ci)盤(pan)(pan)就(jiu)(jiu)越(yue)(yue)(yue)(yue)多(duo),重(zhong)(zhong)(zhong)建(jian)當然也(ye)就(jiu)(jiu)越(yue)(yue)(yue)(yue)快。重(zhong)(zhong)(zhong)建(jian)的(de)(de)(de)(de)時間窗大大縮短(duan)了,陣列(lie)失效的(de)(de)(de)(de)風險也(ye)大大減少(shao)。
■專利:
一種不中斷數據存儲服務且修復RAID 陣列的方法和裝置201410603460.3
一種降低虛擬磁盤管(guan)理復雜度的方法和裝置201410653820.0
■多種重建方式
系統軟件級
■數據保險箱
在(zai)設備異(yi)常(chang)掉電后(hou),系(xi)(xi)統(tong)(tong)配(pei)置的(de)電池會繼續給系(xi)(xi)統(tong)(tong)供電以(yi)保(bao)證寫緩(huan)存整(zheng)個空間數(shu)(shu)據(ju)(ju)保(bao)存到內置的(de)“數(shu)(shu)據(ju)(ju)保(bao)險(xian)箱”中(zhong)。當設備恢(hui)復供電正常(chang)重啟后(hou),系(xi)(xi)統(tong)(tong)會將(jiang)“數(shu)(shu)據(ju)(ju)保(bao)險(xian)箱”的(de)緩(huan)存數(shu)(shu)據(ju)(ju)加(jia)載到系(xi)(xi)統(tong)(tong)緩(huan)存中(zhong),并根據(ju)(ju)策略(lve)及時把緩(huan)存數(shu)(shu)據(ju)(ju)刷到RAID 磁(ci)盤中(zhong),確保(bao)數(shu)(shu)據(ju)(ju)在(zai)任何情況下都不會丟失。
■雙控故障保護技術
宇視視頻監控(kong)(kong)雙控(kong)(kong)存(cun)儲設備實現了雙存(cun)儲控(kong)(kong)制(zhi)(zhi)器(qi)(qi)之間Active-Active 模(mo)式的故障保(bao)護,無論哪個控(kong)(kong)制(zhi)(zhi)器(qi)(qi)宕(dang)機,對端控(kong)(kong)制(zhi)(zhi)器(qi)(qi)都會進行該故障控(kong)(kong)制(zhi)(zhi)器(qi)(qi)的業務接管,故障控(kong)(kong)制(zhi)(zhi)器(qi)(qi)恢(hui)復后(hou),可進行自(zi)動故障恢(hui)復保(bao)證業務的持續性。
雙控故障保護技術主要檢測保護如下四個方面的故障:
應用路徑檢測,能檢測保護網段的應用路徑,網口故障或網絡鏈路故障,保證前端業務通道正常。
存儲路徑檢測,能檢測后端的SAS 接口或SAS 鏈路以及DEU 控制器故障,保證后端讀寫硬盤正常。
服務器自身檢測,包括關鍵進程,業務模塊等。
心跳檢測, 通過(guo)內部網口(kou), 串口(kou)以及CPLD 等(deng)多種(zhong)手段的心跳檢測,檢測到(dao)對(dui)端(duan)控(kong)制器是否死機或(huo)異常斷電。
■專利:
一種(zhong)存儲控制器(qi)故障檢(jian)測方法201310165207.X
系統間級
糾(jiu)刪(shan)碼(ma)技術:宇視云存儲支持N+M 糾(jiu)刪(shan)碼(ma),支持節點間的(de)數據保(bao)護。文件寫(xie)入的(de)時候(hou)(hou),會分(fen)成固定大(da)小的(de)數據塊(kuai)(kuai),每個數據塊(kuai)(kuai)分(fen)成N 片,通過糾(jiu)刪(shan)碼(ma)算(suan)法(fa),得到N+M 個數據分(fen)片,離散寫(xie)入不(bu)同的(de)存儲節點。讀取數據塊(kuai)(kuai)的(de)時候(hou)(hou),只需要讀取任意N 個數據分(fen)片就(jiu)可以了。相比3份(fen)復制33% 的(de)磁(ci)盤(pan)利(li)用率(lv),2 份(fen)復制50% 的(de)硬盤(pan)利(li)用率(lv),N+M 糾(jiu)刪(shan)碼(ma)高達80% 的(de)硬盤(pan)利(li)用率(lv),大(da)大(da)節省了用戶成本(ben)。如下為4+2 的(de)糾(jiu)刪(shan)碼(ma):
本文簡單闡述了宇(yu)視科(ke)技在存儲技術(shu)領域的(de)(de)一些關(guan)鍵(jian)技術(shu)以及給用戶帶來(lai)的(de)(de)應(ying)用價值。在未來(lai),宇(yu)視科(ke)技的(de)(de)存儲技術(shu)仍將會(hui)持續積淀,不斷進(jin)行,為用戶提供更高性能和可靠性的(de)(de)全(quan)系列(lie)存儲產(chan)品。