文/鐘遠山 浙江宇視科技有限公司存儲拓展部總監(jiān)
近些年來大數(shù)據(jù)、云計算、云存儲在IT界可謂炙手可熱,那其在視頻監(jiān)控行業(yè)的需求和應用又怎么樣呢?不同行業(yè)、規(guī)模、應用需求的視頻監(jiān)控系統(tǒng)是否需要建設云存儲呢?各行業(yè)的決策者們無疑還存在一些疑惑,但是隨著視頻監(jiān)控系統(tǒng)對視頻圖像清晰度的不斷追求、系統(tǒng)規(guī)模的不斷擴大、應用需求不斷趨向多樣化,云存儲應用是視頻監(jiān)控系統(tǒng)發(fā)展的必然需求。
云存儲的需求分析
首先是視頻圖像清晰度發(fā)展需求。視頻監(jiān)控對視頻圖像的清晰度需求是無止境的。視頻圖像的分辨率從QCIF、CIF、D1、720P、1080P、4K、8K一路走來,僅僅使用了不到十年的時間,現(xiàn)在已開始步入4K分辨率主流年代。隨著視頻圖像分辨率的不斷增大,相應對視頻圖像的存儲要求也越來越高。例如:1路D1圖像(1M碼率)存儲30天需要的存儲容量約為300GB左右,1路1080P圖像(4M碼率)存儲30天需要的存儲容量約為1.2TB左右,1路4K(8M碼率)存儲30天則達到了2.4TB左右,可見隨著視頻圖像清晰度的增加,存儲容量的需求也急劇增大。
其次是安防視頻監(jiān)控系統(tǒng)向著大規(guī)模、海量數(shù)據(jù)、智能化和融合應用的方向快速發(fā)展需求。近十幾年來國內(nèi)外的各行各業(yè),安防視頻監(jiān)控系統(tǒng)攝像機的數(shù)量規(guī)模急劇增加。在鐵路行業(yè),隨著新增沿線入侵報警與視頻監(jiān)控需求的明晰,一條鐵路線的建設規(guī)模就從幾千到上萬路攝像機不等;而如一個中等規(guī)模城市的平安城市建設規(guī)模攝像機數(shù)量可能達幾萬路。1000路的1080P(4M 碼率+24小時+30天)視頻圖像存儲容量就可以達到1PB,而1萬路的1080P 視頻存儲容量超過了10個PB,安防視頻監(jiān)控系統(tǒng)的存儲應用已經(jīng)進入了存儲PB級年代。
從性能和容量上看,單臺存儲設備的性能和擴展性基本可以滿足PB級以內(nèi)的視頻接入和圖像存儲需求,但是要接入成千上萬路高清1080P,甚至是4K 視頻,存儲幾十PB、甚至上百PB 的數(shù)據(jù),無論是性能還是容量都無法應對,因為單臺存儲設備無法實現(xiàn)其性能與容量的線性增長;如果采用多臺存儲設備疊加的方式來實現(xiàn)增加的視頻接入和圖像存儲需求,那么多臺存儲設備間相互獨立,缺乏有效的數(shù)據(jù)整合與協(xié)同處理能力,也會存在以下問題:
1、存儲設備統(tǒng)一管理問題。幾十上百臺的存儲設備的管理必須由存儲設備廠商提供專業(yè)的存儲管理軟件來完成設備的集中管理和維護,或者由安防視頻監(jiān)控平臺廠商來提供存儲集中管理服務軟件。但是由于不同存儲廠商的管理接口和協(xié)議各不相同,安防視頻監(jiān)控平臺廠商在應對第三方存儲設備管理時將變得異常困難;
2、存儲資源按需分配問題。視頻監(jiān)控圖像的存儲時間一般在設計初期必須規(guī)劃好,例如15 天、30 天、90 天等甚至更長時間。后期需要對存儲天數(shù)進行調(diào)整時,單臺存儲設備的空間資源無論是擴容還是縮容將無法真正做到存儲空間的按需分配;
3、存儲資源融合問題。安防行業(yè)涵蓋門禁、報警、對講、出入口控制、視頻監(jiān)控、電警卡口等子系統(tǒng),存儲信息包括視頻圖像、圖片、文本、告警信息等。各子系統(tǒng)建設不同的存儲用來保存信息,存儲資源難以有效融合和利用,形成了事實的信息孤島;
4、設備性能和存儲空間共享及利用問題。按多臺存儲設備疊加方式部署的視頻監(jiān)控系統(tǒng),一般先期建設的存儲設備已經(jīng)滿負荷運載,而后期建設的存儲設備在考慮系統(tǒng)擴展性后有一定的性能和存儲空間冗余,但這部分性能和存儲空間冗余就很難共享、也不便故障切換。
云存儲解決方案
云存儲技術(shù)則能夠很好的解決上述問題。云存儲是在云計算和存儲概念上延伸和發(fā)展出來的一個新的理念,是一種新興的網(wǎng)絡存儲技術(shù),它通過集群應用、網(wǎng)絡技術(shù)、分布式文件系統(tǒng)等將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能。云存儲可對系統(tǒng)內(nèi)的設備資源、帶寬資源、存儲空間資源等進行有效整合,可為用戶提供大容量、高性能、高可靠的透明存儲服務。相對于單臺存儲設備來說,云存儲系統(tǒng)具備如下優(yōu)勢:
1、線性擴展的高并發(fā)讀寫性能。單臺存儲設備的并發(fā)讀寫性能容易受到控制器的CPU、緩存及網(wǎng)絡接口的能力限制,讀寫帶寬一般在512MB/S~2GB/S 之間。而云存儲系統(tǒng)可以利用集群技術(shù)將存儲節(jié)點間的帶寬和多臺存儲設備的處理能力進行聚合,隨著存儲節(jié)點數(shù)量的增加可以實現(xiàn)讀寫帶寬、處理能力的線性增長,從理論上來說讀寫帶寬可以是無限的。在實測中,已經(jīng)達到整體讀寫帶寬超過200GB/S 的性能指標;
2、海量存儲空間的彈性擴展。存儲空間彈性擴展采用的是虛擬化技術(shù),把眾多存儲設備虛擬化成單一的便于管理的邏輯設備形態(tài),物理磁盤分割成虛擬磁盤,將虛擬磁盤深化采用細粒度管理和虛擬磁盤操作技術(shù),從而獲得更高更靈活的管理效率、性能和容量空間,通過虛擬化磁盤分配技術(shù),提高磁盤利用率。存儲虛擬化技術(shù)可以很好地解決當前各種形態(tài)設備的存儲容量的統(tǒng)一管理和磁盤容量的動態(tài)分割,實現(xiàn)自動化管理,云存儲中的存儲設備數(shù)量龐大且基于網(wǎng)絡的異地分布?,F(xiàn)在的存儲設備類型非常豐富,包括傳統(tǒng)的存儲設備如IPSAN、FCSAN、NAS、FCIP 等,不同類型和形態(tài)設備之間的容量管理、設備管理,對于龐大的存儲云來講都是一個巨大的挑戰(zhàn),所有的存儲資源都必須得到有效的管理和利用。采用虛擬化和存儲池技術(shù),可以把不同類型的存儲設備虛擬化成為存儲網(wǎng)絡上的一個節(jié)點,在邏輯結(jié)構(gòu)上消除異構(gòu)形態(tài)設備的差異,把容量匯聚成一個巨大的虛擬存儲池,并可以更容易地進行邏輯容量分割,大幅度提升存儲效率。
3、統(tǒng)一的設備管理與資源呈現(xiàn)。云存儲解決了多臺存儲設備疊加帶來的設備管理問題。通過集群技術(shù),將幾十臺、幾百臺的存儲設備統(tǒng)一管理,通過統(tǒng)一的運維和管理界面,向用戶呈現(xiàn)整個云存儲系統(tǒng)的資源和設備使用情況:整體空間利用率、單設備空間利用率、讀寫帶寬、設備負載情況、設備運行狀態(tài)等。例如由二十臺云存儲設備構(gòu)建的一個一千路視頻10PB 的云存儲系統(tǒng),用戶在使用過程中,不需關心前端10000 路攝像機的視頻圖像究竟是存儲在哪一臺設備上,只需要選擇后端這個10PB 大小的空間統(tǒng)一存儲資源池,就可以非常方便的完成存儲部署,可極大簡化用戶管理與維護的復雜度,有效提高工作效率;
4、提升設備資源處理和存儲空間共享能力。由于設備處理能力、存儲空間、帶寬無法實現(xiàn)聚合,單臺存儲設備的處理能力和存儲空間都無法與其他設備進行有效共享,而云存儲系統(tǒng)則可以靈活的進行統(tǒng)一管理和共享。云存儲采用統(tǒng)一的全局命名空間,可以提供多種數(shù)據(jù)訪問接口(SOAP、REST、HDFS、POSIX 等),支持主流的文件與數(shù)據(jù)傳輸訪問協(xié)議(NFS/CIFS、iSCSI、HTTP、FTP 等),可以與各種上層應用程序進行完美配合;
5、更高的數(shù)據(jù)安全性與可靠性。行業(yè)內(nèi)不少優(yōu)秀存儲設備廠商已經(jīng)通過模塊化的部件冗余設計來實現(xiàn)單臺存儲設備的數(shù)據(jù)安全性和可靠性:雙控制器、雙電源、雙電池、雙風扇、雙BIOS等;數(shù)據(jù)安全性可以通過RAID、鏡像、快照、復制、CDP 等技術(shù)實現(xiàn)。但是當存儲設備自身出現(xiàn)故障或數(shù)據(jù)中心機房斷電時,整個數(shù)據(jù)讀寫業(yè)務依然將無法交付。所以許多存儲系統(tǒng),通過災備方案進行保障:同城/ 異地災備、兩地三中心、雙活等方案來保證業(yè)務的連續(xù)性和可用性,但是在應對視頻監(jiān)控領域的海量數(shù)據(jù)存儲,采用這些災備方案明顯難以實現(xiàn)(數(shù)據(jù)量過大,建設成本太高)。云存儲除了單機性能及災備之外,還通過N+M 糾刪碼技術(shù)實現(xiàn)網(wǎng)絡RAID功能、多副本復制技術(shù)能夠?qū)崿F(xiàn)跨存儲設備間的數(shù)據(jù)保護。如果某臺存儲設備故障,其上承載的數(shù)據(jù)寫入業(yè)務都會自動轉(zhuǎn)移到云存儲系統(tǒng)內(nèi)的其他存儲設備上,對于數(shù)據(jù)讀取業(yè)務,則可以通過其他非故障存儲設備運算的方式或者訪問副本的方式完成;
6、總擁有成本(TCO)較低。云存儲系統(tǒng)采用高性價比的以太網(wǎng)絡和存儲節(jié)點構(gòu)成,比傳統(tǒng)的中高端存儲設備具有更好的性價比優(yōu)勢。云存儲擴容相對比較靈活,可根據(jù)業(yè)務隨時隨地的進行彈性擴展,用戶不需要在建設初期一次性購買,當需要時可在線進行性能和容量的方便靈活的擴展,可以在建設、管理、運行、維護等上大大節(jié)省用戶的總擁有成本(TCO)。
結(jié)束語
安防視頻圖像的存儲特點是對實時的存儲性能要求較高,而云存儲的系統(tǒng)架構(gòu)決定了它能夠以較低的總擁有成本滿足海量高清視頻的并發(fā)寫入/讀取,并能實現(xiàn)快速配置和即插即用。目前云存儲在平安城市、智能交通等大行業(yè)市場以及基于公有云架構(gòu)的民用市場已經(jīng)得到應用,今后隨著網(wǎng)絡化更全面普及和海量視頻共享需求的快速增長,各行業(yè)的推廣應用前景將更加廣闊。
縱觀整個國內(nèi)外安防視頻監(jiān)控市場云存儲廠商現(xiàn)狀,數(shù)據(jù)存儲廠商、安防存儲廠商云集、全力角逐:安防廠商基于對業(yè)務的理解順勢推出安防專用云存儲,數(shù)據(jù)存儲廠商力推通用云存儲以期滿足用戶多樣化需求,整個安防存儲市場競爭日趨激烈。
但是不管數(shù)據(jù)存儲廠商還是安防存儲廠商要做好安防云存儲,都需要不斷自我提升:數(shù)據(jù)存儲廠商應該多了解安防視頻監(jiān)控業(yè)務,了解業(yè)務模型的差異,使通用云存儲更符合安防視頻監(jiān)控行業(yè)的實際需求;安防廠商則應該在提供多種數(shù)據(jù)訪問接口,滿足用戶多樣化業(yè)務需求上多下功夫,相互取長補短,滿足用戶實際使用需求才是產(chǎn)品獲得市場占有率的制勝法寶;而硬盤廠商也要針對安防視頻監(jiān)控存儲市場提供容量更大、穩(wěn)定性更高、具有更高性價比的硬盤產(chǎn)品,促使整個安防云存儲的價格更加具有市場競爭力。
可以預見,隨著越來越多基于海量數(shù)據(jù)的高清視頻監(jiān)控業(yè)務應用依托云存儲架構(gòu)解決方案,云存儲在安防領域未來的市場應用將更加寬廣。