視視頻云存儲系統(tǒng)應(yīng)用方案，為安防監(jiān)控系統(tǒng)提供可靠數(shù)據(jù)存儲

這套云存儲系統(tǒng)可以同時(shí)應(yīng)用于接入視頻、圖片、文件的混合流直接存儲，承擔(dān)整個(gè)系統(tǒng)內(nèi)的視頻/圖片的數(shù)據(jù)寫入/讀取工作。系統(tǒng)一方面采用了基于云架構(gòu)的分布式集群設(shè)計(jì)和虛擬化設(shè)計(jì)，在系統(tǒng)內(nèi)部實(shí)現(xiàn)了多設(shè)備協(xié)同工作、性能和資源的虛擬整合，最大限度利用了硬件資源和存儲空間。另一方面，通過將存儲功能、管理功能進(jìn)行打包，通過開放透明的應(yīng)用接口和簡單易用的管理界面，與上層應(yīng)用平臺整合后，為整個(gè)安防監(jiān)控系統(tǒng)提供了高效、可靠的數(shù)據(jù)存儲服務(wù)。

視頻云存儲系統(tǒng)應(yīng)用架構(gòu)圖

?？低曇曨l云存儲的存儲系統(tǒng)由存儲管理服務(wù)器(存儲管理節(jié)點(diǎn)CVMN)、存儲設(shè)備(存儲節(jié)點(diǎn)CVSN)構(gòu)成。在硬件架構(gòu)中根據(jù)節(jié)點(diǎn)功能需要來集成視頻云存儲軟件模塊功能，主要包括視頻云存儲應(yīng)用軟件模塊和對象存儲軟件模塊等。

CVMN（Cloud Video Manage Node）（亦稱元數(shù)據(jù)服務(wù)器）其主要功能包括視頻云存儲系統(tǒng)內(nèi)資源管理、存儲節(jié)點(diǎn)管理、集群管理、策略調(diào)度、運(yùn)維監(jiān)控等。

管理節(jié)點(diǎn)集群部署模式適用于較大型的視頻云存儲系統(tǒng)，可以進(jìn)行三臺或三臺以上配備。集群部署的優(yōu)勢在于通過視頻云存儲管理節(jié)點(diǎn)內(nèi)部集群功能來協(xié)調(diào)各節(jié)點(diǎn)設(shè)備資源，將用戶配置、數(shù)據(jù)庫信息、策略計(jì)劃進(jìn)行統(tǒng)一調(diào)度，整體性能呈現(xiàn)線性增長。同時(shí)也增加了系統(tǒng)的可靠性，多臺設(shè)備的故障不會影響到系統(tǒng)的運(yùn)行。

CVSN（Cloud Video Storage Node）（即存儲設(shè)備）是一套具有容量提供、數(shù)據(jù)讀寫、業(yè)務(wù)應(yīng)用集成為一體的專有化存儲設(shè)備。主要是響應(yīng)視頻云存儲管理節(jié)點(diǎn)（CVMN）和應(yīng)用層的錄像、查詢、下載等操作申請，以及管理物理存儲設(shè)備和空間。

負(fù)責(zé)根據(jù)接收云存儲管理節(jié)點(diǎn)下發(fā)的錄像計(jì)劃，并根據(jù)錄像計(jì)劃向?qū)?yīng)的前端攝像頭進(jìn)行取流操作。負(fù)責(zé)將接收到的錄像數(shù)據(jù)寫入到存儲底層或從存儲底層讀取數(shù)據(jù)，通過協(xié)議接口主要向上層提供錄像、查詢、回放及下載服務(wù)。提供存儲設(shè)備的狀態(tài)檢測和信息上報(bào)功能。

存儲底層由流式文件系統(tǒng)對硬件資源進(jìn)行整合，同時(shí)使用分布式EC技術(shù)來保證數(shù)據(jù)安全，并對業(yè)務(wù)功能提供容量空間完成數(shù)據(jù)存儲。

系統(tǒng)特點(diǎn)

系統(tǒng)拓展設(shè)計(jì)

?？档倪@套云存儲系統(tǒng)支持在線橫向擴(kuò)展，在線業(yè)務(wù)持續(xù)運(yùn)行的情況下，可以動態(tài)增加或縮小云存儲系統(tǒng)的容量，不影響現(xiàn)有業(yè)務(wù)運(yùn)行。云存儲系統(tǒng)正常運(yùn)行下可在線動態(tài)增加刪除節(jié)存儲點(diǎn)，存儲節(jié)點(diǎn)的容量可根據(jù)需要劃分入現(xiàn)有資源池或獨(dú)立創(chuàng)建資源采集，對業(yè)務(wù)層僅表現(xiàn)為存儲容量的增加和刪除。

增加新的存儲節(jié)點(diǎn)時(shí)，配置好節(jié)點(diǎn)的網(wǎng)絡(luò)地址，即可加入系統(tǒng)工作，實(shí)現(xiàn)一鍵擴(kuò)展，快速部署。系統(tǒng)能統(tǒng)一管理不同型號，不同存儲盤位的數(shù)據(jù)節(jié)點(diǎn)。系統(tǒng)具有線性擴(kuò)展的特性，容量增加時(shí)，整體的讀寫性能也同步增加。同時(shí)，系統(tǒng)容量和每個(gè)Bucket容量的擴(kuò)展可快速生效，數(shù)據(jù)自動遷移保持容量利用均衡。

?？档倪@套云存儲系統(tǒng)采用ErasureCode算法N+M可靠性機(jī)制，在系統(tǒng)規(guī)模設(shè)計(jì)時(shí)將條帶中的塊數(shù)據(jù)分散到不同設(shè)備中存儲，因此系統(tǒng)中若干硬盤或者設(shè)備故障都只會損失部分塊數(shù)據(jù)。

由于系統(tǒng)運(yùn)用的糾刪碼算法所需要的塊數(shù)據(jù)分散在不同設(shè)備、不同硬盤中，因此啟動數(shù)據(jù)恢復(fù)算法時(shí)可利用多臺設(shè)備性能，極快速恢復(fù)出故障硬盤或設(shè)備中的數(shù)據(jù)，保障用戶數(shù)據(jù)的不丟失，讀取業(yè)務(wù)不中斷，降低硬件故障、網(wǎng)絡(luò)異常等給系統(tǒng)造成的數(shù)據(jù)丟失風(fēng)險(xiǎn)，提供可高可靠的數(shù)據(jù)保障機(jī)制。目前云存儲系統(tǒng)最大支持N+4級別數(shù)據(jù)保障。

?？狄曨l云存儲系統(tǒng)采用分布式EC算法，在數(shù)據(jù)恢復(fù)和重構(gòu)的速度方面相比傳統(tǒng)RAID技術(shù)有了大幅的提升。高效的數(shù)據(jù)恢復(fù)速度在安防數(shù)據(jù)存儲業(yè)務(wù)中為數(shù)據(jù)的快速訪問和不間斷訪問提供了有利的支持。

同時(shí)?？低曇曨l云存儲系統(tǒng)結(jié)合安防行業(yè)特點(diǎn)，深入理解安防行業(yè)數(shù)據(jù)應(yīng)用場景，結(jié)合Erasure Code數(shù)據(jù)重構(gòu)速度快的特點(diǎn)，針對安防數(shù)據(jù)的重要程度實(shí)現(xiàn)可分級重構(gòu)。即可定義數(shù)據(jù)優(yōu)先級，在出現(xiàn)大范圍設(shè)備損壞時(shí)，保障高級別數(shù)據(jù)優(yōu)先重構(gòu)，從而更加快捷、智能的保障用戶數(shù)據(jù)應(yīng)用的實(shí)時(shí)性。

?？低曂瞥龅倪@套專業(yè)的云存儲系統(tǒng)非常適合安防行業(yè)應(yīng)用，能為安防監(jiān)控平臺“減負(fù)”，能精簡、優(yōu)化安防的存儲架構(gòu)，有較強(qiáng)、較好的用戶體驗(yàn)。

社方觀點(diǎn)

大量的高清視頻監(jiān)控產(chǎn)生了巨大的視頻數(shù)據(jù)流，傳統(tǒng)安防數(shù)據(jù)從采集、傳送、存儲到處理的整個(gè)過程中，存儲和處理大約占據(jù)了80%以上的服務(wù)器資源。?？低曖槍Υ笕萘恳曨l數(shù)據(jù)的存儲和管理以及滿足安防視頻監(jiān)控領(lǐng)域的應(yīng)用需求，設(shè)計(jì)了一套專業(yè)級的海量數(shù)據(jù)云存儲系統(tǒng)。

01

系統(tǒng)采用高可靠性、高穩(wěn)定性的集群部署模式，可實(shí)現(xiàn)單臺或多臺節(jié)點(diǎn)故障切換和實(shí)時(shí)動態(tài)負(fù)載均衡控制，提升資源利用率，降低設(shè)備的壓力，單/多節(jié)點(diǎn)故障時(shí)數(shù)據(jù)不會丟失，數(shù)據(jù)的采集、傳輸、存儲和處理過程中的安全性高。支持統(tǒng)一命名空間，以唯一的業(yè)務(wù)虛擬IP地址對外提供服務(wù)，簡化了用戶訪問和應(yīng)用流程。

02

系統(tǒng)采用了流媒體直存技術(shù)，具有視頻、圖片、文件三類數(shù)據(jù)流的存儲、預(yù)覽、檢索、壓縮、回放、下載、備份、補(bǔ)錄等使用功能齊全，前端接入?yún)f(xié)議標(biāo)準(zhǔn)、開放，平臺兼容性強(qiáng)，操作使用便捷，界面友好。實(shí)現(xiàn)海量數(shù)據(jù)的快速檢索，真真做到億條數(shù)據(jù)秒級檢索。

03

系統(tǒng)具有高擴(kuò)展性、自動化運(yùn)維、節(jié)省成本三大優(yōu)勢?？梢詿o限擴(kuò)展存儲容量，能自動對云存儲系統(tǒng)內(nèi)數(shù)量龐大的軟、硬件全方位監(jiān)控，自動收集軟、硬件運(yùn)行數(shù)據(jù)，為用戶提供機(jī)群實(shí)時(shí)體檢、故障在線告警、實(shí)時(shí)故障排查、運(yùn)維數(shù)據(jù)統(tǒng)計(jì)分析報(bào)表等等服務(wù)。使用云存儲后，用戶不必?fù)?dān)心設(shè)備升級、數(shù)據(jù)遷移、設(shè)備維護(hù)等，可節(jié)省大量費(fèi)用。

04

?？档脑拼鎯Ψ?wù)非常適合公安、交通、司法、政府、金融、辦公園區(qū)、文教等視頻、圖片等數(shù)據(jù)流大的行業(yè)使用。同時(shí)?？低曉谝曨l云存儲、數(shù)據(jù)結(jié)構(gòu)化、處理智能化相結(jié)合的產(chǎn)品上還在加大研發(fā)投入，研發(fā)出更適合各種大、中、小用戶即插即用的、軟硬件結(jié)合的云存儲產(chǎn)品。并在進(jìn)一步降低用戶使用成本，正確把握各種用戶需求，追求更好的用戶體驗(yàn)上做好領(lǐng)頭羊。

方案特色

01

該方案是海康威視為適應(yīng)安防大數(shù)據(jù)EB級增長的海量存儲需求，采用軟硬件一體化設(shè)計(jì)，通過將云存儲技術(shù)與安防行業(yè)的智能應(yīng)用、大數(shù)據(jù)技術(shù)進(jìn)行深度融合，面向用戶提供的專業(yè)、靈活、智能、安全、可靠的云存儲服務(wù)。

02

方案在前端支持視頻、圖片、文件的統(tǒng)一混合存儲，視頻、圖片采用流媒體直存技術(shù)。在存儲端支持24、36、48等多種盤位存儲設(shè)備，支持元數(shù)據(jù)服務(wù)器集群部署模式。支持符合標(biāo)準(zhǔn)協(xié)議(GB28281/ONVIF/PSIA/RTSP/SIP流媒體協(xié)議)的第三方設(shè)備接入，并提供開放、標(biāo)準(zhǔn)的接入?yún)f(xié)議。支持用戶采用SDK、HTTP、兼容亞馬遜S3協(xié)議等方式與?？灯叽笮袠I(yè)平臺對接，提供云存儲服務(wù)。

03

方案采用獨(dú)有的具有自主知識產(chǎn)權(quán)的流式數(shù)據(jù)結(jié)構(gòu)存儲技術(shù)，消除文件系統(tǒng)的瓶頸，滿足視頻大數(shù)據(jù)的持續(xù)寫入，可大幅提升存儲效率。設(shè)備采用集群化運(yùn)行技術(shù)，激活了存儲的潛能，全面提升了動態(tài)負(fù)載均衡能力。數(shù)據(jù)采用分布式存儲技術(shù)，可并發(fā)提取，實(shí)現(xiàn)了數(shù)據(jù)的高速下載。系統(tǒng)以集群方式對外提供唯一的IP接口作為訪問地址來實(shí)現(xiàn)存儲+應(yīng)用。是以應(yīng)用視角來優(yōu)化存儲的專業(yè)安防云存儲系統(tǒng)。

04

方案在信息傳輸安全上采用了寫入權(quán)限認(rèn)證、通信協(xié)議加密等技術(shù)，在數(shù)據(jù)存儲安全上采用了EC糾刪碼的網(wǎng)絡(luò)RAID等技術(shù)。能實(shí)現(xiàn)節(jié)點(diǎn)間數(shù)據(jù)冗余保護(hù)，支持多種N+M冗余容錯(cuò)機(jī)制，系統(tǒng)能容忍多臺設(shè)備、多塊硬盤同時(shí)損壞而數(shù)據(jù)不丟失，系統(tǒng)無單點(diǎn)故障，多接點(diǎn)故障時(shí)系統(tǒng)自動切換接管，業(yè)務(wù)不中斷，保障數(shù)據(jù)完整、安全、穩(wěn)定、可靠。

05

方案采用獨(dú)立的運(yùn)維平臺來對視頻云存儲硬件、軟件和系統(tǒng)三大模塊中的系統(tǒng)壓力、使用空間、硬件節(jié)點(diǎn)、監(jiān)控點(diǎn)位等中的各種信息進(jìn)行統(tǒng)一采集、報(bào)表統(tǒng)計(jì)和運(yùn)維管理。對系統(tǒng)設(shè)備和資源服務(wù)狀態(tài)實(shí)時(shí)查看，對多云實(shí)行統(tǒng)一設(shè)備和訪問控制權(quán)限管理。當(dāng)云存儲系統(tǒng)的軟硬件運(yùn)行異常時(shí)，運(yùn)維系統(tǒng)經(jīng)過統(tǒng)計(jì)分析后可通過多種方式觸發(fā)報(bào)警，并以顯示，短信、語音、郵件等方式發(fā)送告警信息，方便實(shí)時(shí)監(jiān)控云存儲的運(yùn)行。大大降低了運(yùn)維人員對視頻云存儲系統(tǒng)的維護(hù)難度。并支持與標(biāo)準(zhǔn)的SNMP協(xié)議對接。