大數據業務特征分析
監控里的視頻錄像數據的讀寫模式從前端IPC 或編解碼器的寫入模式及整體方案的規劃和維護都大大的不同于普通的數據存儲模式。
主要有如下特征:
■恒定碼流的高并發寫入
■存儲空間的提前規劃
■錄像視頻的生命周期管理
目前絕大多數的系統都是采用文件系統的方式進行音視頻數據的存儲。文件系統有幾個最大的問題:
■存儲設備管理接口不統一
■存儲資源的管理及分配制度
■以文件系統為核心的數據存儲方式
■文件系統易損壞,寫文件會導致文件系統元數據區的頻繁持續更新,因此文件系統的元數據區很容易損壞,導致文件系統不可用。
■性能問題:文件系統經IO 過操作系統的封裝,在數據長時期持續寫入的情況下,開銷要大于直接裸盤寫入,降低性能。在磁盤上存在大量錄像文件時,系統的錄像檢索效率會下降很多。另外,磁盤上的大量文件在多次刪除重建后,數據在物理磁盤上的位置將變成不連續,導致數據寫入的隨機性加大,從而降低錄像數據的寫入性能。
云存儲的技術特點
1 統一管理管理
■即插即用
云存儲解決方案實現了無縫的將視頻處理技術和存儲設備無縫的融合,實現了對存儲資源進行集中管理,動態的為攝像機分配存儲資源。實現了云的最大特點:即插即用。
云存儲的數據管理模塊能自動識別新加入的設備信息,不僅實現了對存儲資源的整合和集中管理,并在系統的運行過程中,通過巡檢機制來實時監控各存儲設備的存儲資源狀態,在發現故障時及時上報給中心的視頻管理服務器進行處理。
■按需分配
試想將一個大型視頻監控系統中部署的上萬個攝像機的音視頻數據都存儲起來,將會占用非常大的存儲空間,增加系統成本。
事實上,并非所有的視頻數據都需要全天24 小時存儲,可以根據實際情況有選擇的不同的存儲策略進行存儲。監控云存儲解決方案完美的解決了用戶的顧慮,根據用戶的現有環境和存儲策略,實現每個前端的 按需分配。
■自動擴容
監控CDS 云存儲解決方案實現了存儲的自動擴容功能。
當IPSAN 設備注冊到數據管理模塊后,數據管理模塊自動獲取存儲設備的各項信息,并把這些資源整合成一個大的存儲資源池,制訂存儲策略時根據最優策略為攝像機動態分配資源,以充分利用各存儲設備的存儲資源。動態的為攝像機分配存儲資源,提高資源利用率。當現有的存儲空間不能滿足新的存儲計劃時,在不影響前端業務的情況下,能通過策略實現存儲空間的自動擴容。
■無限擴展
監控CDS 云存儲平臺可分成支持1024 級的管理模式,每級的存儲模塊支持1024 臺存儲設備,實現存儲設備的無限擴展。
2 錄像數據的安全訪問
存貯在貯存設施中的短短視頻參數已經包涵到手機隱私或神經敏感信心,那么針對互訪貯存的音短短視頻參數的朋友應實施權限設置認可,堅決杜絕未軟件授權朋友對參數的違禁互訪。
完善的數據保護機制及優化
而在視頻圖片播放監視器利用軟件中,通常情況下另一個陣列中電腦硬盤是7×24 小時英文不中止任務。音頻圖片播放數據統計文件的功能是,部件的數據統計文件故障僅會故障很短每段事件的音頻圖片播放片斷切勿用,并不懂影向全部,那樣利用軟件形式下,一般的RAID 計算方式就會以至于陣列越來越異常的貧瘠,更容易鑒于極少量的電腦硬盤IO 內部錯誤以至于一部分陣列切勿用。但是,在視頻圖片播放監視器層面,UNIVIEW 利用這互聯網行業的利用軟件功能,從機器級和方案設計級兩地方考量使用調優,很大程度上提高了 了陣列的容錯機制作用,提高了了可性。設備層
監控儀器儲存方式儀器自個帶來了多種不同自我保護措施策略,最大水平水平的自我保護措施視頻播放回放數據顯示。■物理層
在物理層,通過最先進的磁盤技術保證數據的容錯(磁盤扇區的remap 技術)。
■RAID 層
在傳統的RAID 應用中,對于磁盤的錯誤是零容忍的,一旦發現磁盤IO 錯誤,就會將故障磁盤下線,導致陣列降級。 ■RAID 重建
在RAID 重建功能中,重新設計了新的重建算法,大大提升了RAID 重建速度。有效保證了在陣列降級情況下的數據恢復速度,提升了系統的可靠性。
■硬盤順序上電
包括存儲資源的可靠性(磁盤可靠性、RAID 可靠性、存儲設備級保護),存儲數據的可靠性,數據恢復,性能優化。
■設備層
支持在線式內嵌UPS 電池和數據保險箱功能,異常停電時可以繼續供電以便把寫緩存數據保存到數據保險箱中,完全保證用戶數據的完整性。
■協議層
在存儲協議層面,針對音視頻媒體流傳輸的特點,有針對性的優化了iSCSI 協議參數,使得存儲媒體流的傳輸更加的高效,提升可靠性。
方案級
從讀入的視頻錄播數值采集程序后的視頻播放傳輸到web后臺存儲器器專用設備上錄播數值的讀入方式中宇視科持的監視CDS(Cloud Direct Storage) 云端存儲器器提拱化解措施級的維護,完美無缺的維護視頻錄播數值。■前端緩存補錄
在監控系統實際應用環境中,經常會面臨網絡終端、存儲設備斷電等情況,導致前端的錄像無法及時存儲到中心存儲資源,從而造成錄像丟失。
云存儲解決方案,在網絡或中心存儲等異常時,前端設備會啟動緩存功能,將視頻數據存在本地的存儲設備上( 如:U 盤、移動硬盤和SD 卡等)。同時,后端鏈路或設備恢復正常后,會自動將補錄到的錄像上傳到后端存儲上,避免造成數據丟失。同時在統一的監控管理平臺上,能對該時間段的錄像進行檢索、回放、刪除等管理操作。
■動態碼流直存
宇視科技的CDS 云存儲解決方案:對于宇視科技監控終端,可按照錄像存儲業務的優先級,支持變碼流存儲:對于周期計劃類等優先級較低的錄像存儲業務,可采用低碼流或者抽幀方式的存儲,適當減少對存儲空間的占用。而對于告警聯動類等優先級較高的錄像存儲業務,可采用高碼流、全幀等方式存儲,全力保證錄像的高質量、高清晰度。
同時,基于支持前端智能分析功能的監控終端,對于監控畫面中的重點區域或動態圖像,采用低壓縮比、高碼流格式進行傳輸及存儲;對于監控畫面中的非重點區域或靜態圖像,采用高壓縮比、低碼流進行傳輸及存儲。這樣在保證關鍵錄像數據的高質量傳輸、高質量存儲的同時,可有效減少非關鍵數據占用的傳輸帶寬、存儲資源。
■存儲的“『N+M』,M 最小為零”保護
存儲“『N+M』,M 最小為零”是預防存儲故障的實現方式之一,“N”為在線存儲陣列,“M”為冗余存儲設備,“N”和“M”在一個局域網里,但可以放置在不同的地域。通過“N+M 保護“能將前端攝像機的數據自動存放到冗余存儲陣列設備上。當在線存儲恢復正常后,又自動的恢復到之前存儲設備上。
存儲“『N+M』,M 最小為零”從監控系統整體解決方案的角度,有效解決不同級別及不同類型的存儲異常情況下的存儲可靠性問題。根據用戶需求,靈活調整主用、冗余存儲設備的數目,比傳統陣列支持雙控保護技術的方案整體可靠性和靈活性更高,且全系統保護成本更低。

總結
宇視根據自己多年在存儲和多媒體領域的技術積累和理解,基于多媒體應用的特點,有針對性的對現有存儲技術進行了創造性的改進和優化。
宇視的CDS 云存儲解決方案實現了對存儲設備的統一管理、按需分配、即插即用,基于云存儲理念的的宇視科技存儲設備融入的云存儲數據管理模塊,更好給用戶提供端到端的云存儲服務。