文/張松&孫慶超 東方網力科技股份有限公司
平安城市存儲現(xiàn)狀與需求
平安城市視頻監(jiān)控系統(tǒng)的建設實現(xiàn)所有圖像資源的集中管理，最大限度實現(xiàn)跨地區(qū)、跨部門視頻監(jiān)控資源共享和互聯(lián)互通互控。目前全國公安機關共安裝監(jiān)控攝像機近300萬臺，社會安裝監(jiān)控攝像機約2000萬臺，監(jiān)控點的高清比例約為50%。如果1080P視頻圖像按照4M碼率、24小時不間斷存儲30天計算，1000路1080P視頻圖像的存儲容量就已經達到了1個PB，1萬路的1080P視頻圖像的存儲容量已經超過了10PB，平安城市建設已經全面進入存儲P時代。
同時，按照中央深化社會體制改革的整體部署，公安部會同國家發(fā)改委、中央綜治辦等部門研究起草并聯(lián)合印發(fā)了《關于加強公共安全視頻監(jiān)控建設聯(lián)網應用工作的若干意見》，提出2020年實現(xiàn)“全域覆蓋、全網共享、全時應用、全程可控”的總體目標。按照全域覆蓋的要求，一個中等規(guī)模的縣級城市攝像機數量可能達到5000路以上，全省視頻聯(lián)網路數在10萬路以上，按照1080P視頻圖像4M碼率、24小時不間斷存儲30天計算，存儲容量將超過100PB，面對如此海量視頻存儲數據的價值信息提取，勢必對存儲系統(tǒng)的容量、擴展性、性價比、性能、管理性、穩(wěn)定性等提出更高的要求。
面對PB級的海量視頻存儲需求，傳統(tǒng)的NVR或IPSAN存儲模式在容量和性能上存在一定瓶頸。其系統(tǒng)的吞吐能力無法滿足高并發(fā)視頻存儲、回放的需求，且無法適應業(yè)務變化對云存儲系統(tǒng)能力的需求。通過采購更多、更高端的硬件設備來提高存儲能力的方式，會使部署成本急劇增長，系統(tǒng)復雜性提升，運維壓力也隨之提高。因此，建設大規(guī)模存儲系統(tǒng)也是平安城市視頻存儲的剛需。
然而傳統(tǒng)的存儲設備主要通過RAID方式實現(xiàn)單個存儲節(jié)點內部的可靠性，數據保護能力有限。當存儲節(jié)點斷電或宕機時，會出現(xiàn)存儲業(yè)務中斷，導致錄像丟失等情況，無法保障存儲數據的安全性。另外，傳統(tǒng)的存儲方式無法將整個存儲資源進行統(tǒng)一管理，而是將每個設備的空間獨立分配及管理，這會使部分設備出現(xiàn)碎片化的容量空間，且新增設備無法整合此類存儲空間，造成空間浪費，使空間利用率下降。某些存儲設備損壞時，僅通過人工巡檢查漏補缺，也增加了運維難度和運維成本。
隨著平安城市的持續(xù)建設，在攝像機數量不斷增長，用戶需求對高清要求激增的情況下，視頻數據量呈爆炸式增長，這就更加催生了具備海量存儲和高速讀寫性能的云存儲系統(tǒng)應用，以應對PB級的視頻存儲需求。
東方網力視頻云存儲
云存儲是在云計算(cloud computing)概念上延伸和發(fā)展出來的一個新的概念，是指通過集群應用、虛擬化、網格技術或分布式文件系統(tǒng)等技術，將網絡中大量、各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數據存儲和業(yè)務訪問功能的一個系統(tǒng)。
東方網力視頻云存儲結合平安城市業(yè)務系統(tǒng)規(guī)模大小不一、業(yè)務模式集中和分散相結合等特點，以視頻、圖片文件存儲和管理為核心，采用面向大規(guī)模數據密集型應用的、可伸縮的分布式文件系統(tǒng)，存儲視頻圖片數據，有效提高快速并發(fā)讀寫能力、存儲空間彈性擴展能力和系統(tǒng)可靠性，滿足安防視頻監(jiān)控的新要求，解決城市級海量視頻數據存儲、檢索問題，并能夠結合平安城市業(yè)務提供靈活的部署方式。存儲的內容分為結構化數據和非結構化數據，結構化數據采用分布式數據存儲;而非結構化數據(例如視頻、圖片、文本、特征等)存儲在分布式文件系統(tǒng)中。
東方網力視頻云存儲系統(tǒng)可分為硬件層、軟件層、業(yè)務層以及應用層四個層級。
圖 東方網力視頻云存儲邏輯架構圖
硬件層提供存儲設備，存儲視頻、圖片等文件。它包括網絡和物理節(jié)點及節(jié)點內的硬盤、網卡、內存等。
軟件層為硬件層服務，實現(xiàn)硬件的虛擬化。管理各個硬件存儲設備、實現(xiàn)硬件的可擴展性和穩(wěn)定性。軟件層主要是分布式文件系統(tǒng)和多種增值特性，提供分布式存儲、故障自動恢復、性能負載均衡、元數據服務等服務，對整個系統(tǒng)進行統(tǒng)一管理。
業(yè)務層主要提供實時視頻存儲ROFS系統(tǒng)和視圖數據存儲PFS兩種存儲技術，主要作用是將實時視頻、歷史視頻以及圖片按照不同的存儲策略存儲在不同的存儲卷中。業(yè)務層將整個存儲池分為視頻監(jiān)控、大文件、小文件3個卷，分別存儲實時視頻、歷史視頻、圖片和文本文件，它們在邏輯上和物理上相互隔離。針對不同的文件采用不同的技術處理，使云存儲系統(tǒng)更加適應平安城市視頻監(jiān)控大數據量存儲的應用。
應用層為公安業(yè)務應用、政府業(yè)務應用、其他行業(yè)業(yè)務應用等，云存儲系統(tǒng)可對各類業(yè)務應用提供大容量的數據存儲，可以將業(yè)務平臺的實時視頻、歷史視頻、圖片、文本信息等通過云存儲保存，進行統(tǒng)一的存儲。
全對稱架構
目前的云存儲系統(tǒng)從架構上區(qū)分有兩類，即全對稱云存儲架構和非全對稱云存儲架構兩種。非對稱架構指云存儲系統(tǒng)中，除了存儲服務器外，還需單獨的機頭服務器或元數據服務器。東方網力視頻云存儲采用全對稱架構，所有節(jié)點的硬件、軟件、功能完全一樣，即其元數據和錄像數據分布在集群中的不同存儲節(jié)點中，無需單獨的機頭服務器或元數據服務器。在該架構下所有的存儲設備位置一樣，經過云存儲軟件系統(tǒng)將存儲服務器進行整合，一同發(fā)揮效應。
動態(tài)負載均衡
現(xiàn)有的網絡中往往會存在因帶寬、吞吐量導致的存儲性能異常的問題，負載均衡就是在這種網絡結構上，來加強數據處理能力、提高靈活性和可用性。東方網力視頻云存儲的動態(tài)負載均衡表現(xiàn)在兩方面：一方面是寫時均衡：系統(tǒng)周期性地從各個節(jié)點收集負載情況，當增加一路錄像或集群中有節(jié)點宕機時，集群會自動選擇負載相對較低的節(jié)點寫入數據;另一方面是再次均衡：當集群中某些節(jié)點的負載達到緊張值，可將其存儲業(yè)務平滑過渡到其他負載較小且未達到緊張值的節(jié)點上，且業(yè)務不中斷。
虛擬化管理
東方網力視頻云存儲系統(tǒng)是將多個存儲服務器的磁盤空間和內存資源聚集成一個單一的虛擬存儲資源池，對上層用戶和應用屏蔽了底層的物理硬件。簡化了與業(yè)務系統(tǒng)的接口，保證了系統(tǒng)使用的簡易性。同時，存儲的擴展僅限存儲內部，而不會影響到系統(tǒng)與業(yè)務系統(tǒng)的接口，也保證了存儲空間內數據的高共享能力。
視頻流直存
東方網力視頻云存儲系統(tǒng)接收聯(lián)網平臺下發(fā)的錄像計劃(包括開流時間、關流時間、錄像通道信息及存儲ID)后，將前端攝像機的視頻流直接寫入存儲設備，無需借助第三方設備，可實現(xiàn)7*24小時不間斷的視頻流直存。
特有的流式存儲系統(tǒng)
隨著公安業(yè)務的多樣化和視頻數據的爆炸式增長，對視頻數據的并發(fā)讀寫性能及安全性都提出了很高的要求。東方網力視頻云存儲采用特有的流式存儲系統(tǒng)，該文件存儲系統(tǒng)主要用于存儲視頻流數據，以時間作為索引進行查詢操作，可實現(xiàn)多路視頻流的高性能存儲與回放。它是根據視頻存儲的讀寫特點，針對視頻存儲數據的安全性、可靠性設計的存儲系統(tǒng)。
該存儲系統(tǒng)單節(jié)點的(讀加寫)性能可達500Mb/s，50個節(jié)點以內的集群的讀寫性能隨節(jié)點數量的增加呈線性增長;數據進行格式化時，時間不超過100毫秒，無需長時間等待;并且提供穩(wěn)定可靠的redis服務，定期將元數據寫入磁盤，當服務異常終止之后，可用磁盤中的元數據進行恢復，保證錄像數據不丟失。
在線擴容
隨著平安城市視頻監(jiān)控行業(yè)存儲需求的增加，視頻文件的總容量將達到PB級，此時，項目就面臨著擴容問題。傳統(tǒng)的存儲方式設備的存儲容量有限，在擴容時需要給上層業(yè)務服務器重新分配空間，嚴重影響上層視頻共享業(yè)務的連續(xù)性，且存儲性能、安全性、可靠性、經濟性都會隨著系統(tǒng)的擴展而大大降低。東方網力視頻云存儲系統(tǒng)支持橫向擴展(Scale-Out)，通過增加存儲服務器數量和磁盤數量，實現(xiàn)系統(tǒng)容量、性能的擴展，是單集群的存儲容量達到PB級。
系統(tǒng)提供了大容量存儲系統(tǒng)集中管理的手段，擴容僅僅是管理員對新加設備的節(jié)點掛接，對整個系統(tǒng)的運行沒有影響，在快速融合新增設備的同時保證業(yè)務不中斷，也避免了設備擴充帶來的管理麻煩。在線擴容是在不需要停止在線業(yè)務的情況下，增加或刪除存儲節(jié)點，使系統(tǒng)的存儲容量動態(tài)增加或縮小。由于東方網力視頻云存儲系統(tǒng)是一個整體，只對外提供整體的存儲空間，因此節(jié)點的增減對業(yè)務層僅表現(xiàn)為存儲容量的增加和刪除，不會影響上層業(yè)務。
結語
面對超大數據量的存儲，只有采用高性能、高可靠性的云存儲技術才能滿足平安城市項目對視頻數據多樣化的應用需求。各大安防軟件平臺廠商只有不斷提高技術水平，不斷對產品創(chuàng)新，高質量、高效率地滿足用戶需求，才能在未來平安城市項目競爭中嶄露頭角。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產業(yè)前沿產品、技術及市場趨勢的專業(yè)媒體傳播和品牌服務。從安全管理到產業(yè)數字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經驗，提供媒體、活動、展會等整合營銷服務。
粵公網安備 44030402000264號
