視頻分析技術(shù)的背景
    “美國(guó)國(guó)防部的研究表明，在一個(gè)非智能的視頻監(jiān)控系統(tǒng)里，一個(gè)工作人員監(jiān)控兩臺(tái)監(jiān)視器，10分鐘后遺忘45%的內(nèi)容，20分鐘后會(huì)遺忘95%的內(nèi)容”，這是近兩年各個(gè)視頻分析廠商推銷(xiāo)視頻分析技術(shù)及產(chǎn)品時(shí)經(jīng)常用到的“話(huà)術(shù)”。由此可見(jiàn)，視頻監(jiān)控系統(tǒng)需要智能，系統(tǒng)需要具有能像人一樣具有獨(dú)立思考的能力，并克服一些人為監(jiān)控行為的不足。

    眾所周知，視頻監(jiān)控技術(shù)的發(fā)展經(jīng)歷了閉路電視監(jiān)控時(shí)代、DVR時(shí)代及網(wǎng)絡(luò)監(jiān)控時(shí)代。在閉路電視監(jiān)控時(shí)代，通過(guò)矩陣的控制切換功能實(shí)現(xiàn)對(duì)前端視頻信號(hào)的選擇并切換到指定監(jiān)視器上，值班人員需要聚精會(huì)神地盯著監(jiān)視器以試圖發(fā)現(xiàn)可疑情況。由于攝像機(jī)與監(jiān)視器并非一對(duì)一比例配置的，因此必然會(huì)漏掉一些信息。在DVR時(shí)代，視頻監(jiān)控系統(tǒng)已經(jīng)實(shí)現(xiàn)了一定的數(shù)字化，利用視頻編碼及硬盤(pán)存儲(chǔ)設(shè)備，可以進(jìn)行大容量長(zhǎng)時(shí)間錄像，但是，DVR的功能側(cè)重在“錄像”上，因此，其主要作用通常是事后調(diào)查回放而不能防患于未然。雖然部分DVR設(shè)備實(shí)現(xiàn)了VMD（視頻移動(dòng)探測(cè)技術(shù)）的“初級(jí)智能”，但實(shí)際應(yīng)用效果并不好，算不上視頻分析。

    綜上所述，閉路電視監(jiān)控系統(tǒng)、數(shù)字視頻監(jiān)控系統(tǒng)有如下弱點(diǎn)：攝像機(jī)與監(jiān)視器通常是按照“多對(duì)一”比例配置，無(wú)法監(jiān)視所有通道；對(duì)于模擬電視墻，人的注意力不能永遠(yuǎn)集中監(jiān)視并提早發(fā)現(xiàn)可疑行為；DVR/NVR通常是起錄像作用，在需要時(shí)用于事后調(diào)查；DVR/NVR的檢索功能單一，不具有智能檢索功能。

    能否讓計(jì)算機(jī)系統(tǒng)獨(dú)立“讀懂”視頻信息，從而代替值班人員，實(shí)現(xiàn)對(duì)視頻內(nèi)容的自動(dòng)判定及報(bào)警；能否將視頻信息建立標(biāo)簽索引或特征描述，從而實(shí)現(xiàn)定制化的視頻快速檢索，是視頻監(jiān)控的發(fā)展之道，也是智能視頻監(jiān)控技術(shù)的核心，即視頻內(nèi)容分析IVS（Intelligent Video Surveillance）。圖1為視頻分析功能示意圖，利用視頻分析技術(shù)，可以在成百上千的原始圖像中提取出異常視頻，進(jìn)而自動(dòng)報(bào)警、顯示及錄像存儲(chǔ)。

可實(shí)現(xiàn)的功能
    如果說(shuō)攝像頭和編碼傳輸系統(tǒng)完成了“眼睛”的功能，那么視頻分析便是擔(dān)任“大腦”的角色。視頻分析技術(shù)能夠在圖像及圖像描述之間建立映射關(guān)系，使計(jì)算機(jī)系統(tǒng)能夠通過(guò)圖像處理和分析來(lái)理解視頻信息中“發(fā)生了什么事情”，實(shí)質(zhì)是“自動(dòng)分析和抽取視頻源中的關(guān)鍵信息”。這樣，計(jì)算機(jī)系統(tǒng)便能夠“讀懂”視頻信息內(nèi)容，再為視頻信息設(shè)置一定的規(guī)則，計(jì)算機(jī)系統(tǒng)將“讀到的內(nèi)容”與“設(shè)定的規(guī)則”進(jìn)行匹配，一旦行為與規(guī)則完全匹配，便可以迅速報(bào)警或者索引出來(lái)。[nextpage]

    總結(jié)來(lái)看，智能視頻監(jiān)控系統(tǒng)主要優(yōu)勢(shì)體現(xiàn)在：快速的反應(yīng)時(shí)間——毫秒級(jí)的報(bào)警觸發(fā)反應(yīng)時(shí)間；提前預(yù)警機(jī)制——在事件剛剛發(fā)生即快速報(bào)警；更有效地監(jiān)視——安保操作員只需要注意相關(guān)信息；強(qiáng)大的數(shù)據(jù)檢索和分析功能——能提供快速的反應(yīng)時(shí)間和調(diào)查時(shí)間；帶寬及存儲(chǔ)資源的節(jié)約——系統(tǒng)可以按照VCA報(bào)警來(lái)傳輸或錄像。

視頻分析技術(shù)的原理
    視頻分析技術(shù)通常采用背景分離（背景減除）技術(shù)來(lái)進(jìn)行圖像變化的檢測(cè)（所有的視頻分析模式，如入侵、丟包、逆行等都是一種模式的圖像變化）。其思路是對(duì)視頻幀與基準(zhǔn)背景圖像進(jìn)行比較，相同位置的像素（區(qū)域）變化則認(rèn)為是變化了的區(qū)域，對(duì)這些區(qū)域進(jìn)一步處理、跟蹤、識(shí)別，得到包括目標(biāo)位置、尺寸、形狀、速度、停留時(shí)間等基本形態(tài)信息和動(dòng)態(tài)信息，完成目標(biāo)的跟蹤和行為理解之后，也就完成了圖像與圖像描述之間的映射關(guān)系，從而使系統(tǒng)進(jìn)一步進(jìn)行規(guī)則判定，直到觸發(fā)報(bào)警。

    背景減除法是目前普遍使用的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其算法本身需要大量的運(yùn)算處理資源，并且仍然會(huì)受到光線(xiàn)、天氣等自然條件及背景自身變化（海浪、云影、樹(shù)葉搖動(dòng)等情況）的影響。但是，針對(duì)不同的天氣以及自然干擾，已經(jīng)有多種附加算法（過(guò)濾器）應(yīng)用來(lái)彌補(bǔ)這些缺陷，隨著芯片能力的提升及算法改進(jìn)，相信視頻分析技術(shù)會(huì)進(jìn)一步成熟。

視頻內(nèi)容分析的關(guān)鍵技術(shù)
    前景目標(biāo)的探測(cè)是視頻分析技術(shù)實(shí)施的前提條件。背景減除法是目前視頻分析技術(shù)中用于前景目標(biāo)探測(cè)的最常見(jiàn)方法，其原理是利用當(dāng)前圖象和背景圖象的差分（SAD）來(lái)檢測(cè)出運(yùn)動(dòng)目標(biāo)（區(qū)域）的一種方法。此方法可以提供比較完整的運(yùn)動(dòng)目標(biāo)特征數(shù)據(jù)，精確度和靈敏度比較高，具有良好的性能表現(xiàn)，但對(duì)動(dòng)態(tài)場(chǎng)景的變化，如光線(xiàn)變化情況也比較敏感。背景減除法的工作原理如圖2所示，當(dāng)前圖像與背景圖像模型做差后形成運(yùn)動(dòng)目標(biāo)區(qū)域，即圖中的小船。

    背景模型的建立是背景減除法的關(guān)鍵所在。通常，視頻分析算法需要一定的時(shí)間進(jìn)行“背景學(xué)習(xí)”，所謂背景學(xué)習(xí)，實(shí)質(zhì)上是利用時(shí)間平均圖像的方法，將背景在一個(gè)時(shí)間段（如30秒鐘）內(nèi)的平均圖像計(jì)算出來(lái)，作為該場(chǎng)景的背景模型。那么，“背景學(xué)習(xí)”時(shí)間結(jié)束后，系統(tǒng)仍然需要具有“背景維護(hù)”的能力，之前建模的背景并不是一成不變的，這樣能保證系統(tǒng)對(duì)場(chǎng)景內(nèi)的圖像變化不那么敏感，如光線(xiàn)變化、影子等等，因此，開(kāi)發(fā)出實(shí)用、有效的背景模型以適應(yīng)動(dòng)態(tài)、復(fù)雜的場(chǎng)景是目標(biāo)探測(cè)及視頻分析技術(shù)的關(guān)鍵。

視頻分析的工作流程
    視頻分析實(shí)質(zhì)是人工智能的一部分，是通過(guò)模仿人類(lèi)的工作過(guò)程來(lái)實(shí)現(xiàn)的。人類(lèi)通過(guò)眼睛這個(gè)“傳感器”實(shí)現(xiàn)視頻的采集、預(yù)處理、處理然后將真實(shí)圖像傳送給大腦，大腦并不是對(duì)所有傳送過(guò)來(lái)的圖像進(jìn)行整體的分析處理，而是采用多層分級(jí)，將背景、緩慢移動(dòng)及遠(yuǎn)處的目標(biāo)分辨率最低化，忽略一些細(xì)節(jié)；并對(duì)前景感興趣區(qū)進(jìn)行二次聚焦（我們常說(shuō)的眼前一亮就是這個(gè)意思），獲得更多細(xì)節(jié)，然后對(duì)該區(qū)域進(jìn)行判定。[nextpage]

    圖3所展示的案例是日常生活中常見(jiàn)的情況，圖像是一個(gè)地鐵站臺(tái)，畫(huà)面中出現(xiàn)一個(gè)穿紅色衣服的女子，手里拿著一個(gè)黑色包放到站臺(tái)中的一個(gè)空地上，之后迅速離開(kāi)。這是一個(gè)很普通的視頻場(chǎng)景，值班人員對(duì)這段場(chǎng)景很容易迅速地提取出特征描述來(lái)，即“一個(gè)紅衣女子將一個(gè)黑色包放在站臺(tái)上后迅速離開(kāi)”，而對(duì)這個(gè)簡(jiǎn)單的信息，值班人員利用眼睛采集到信息，首先是場(chǎng)景（站臺(tái)），之后分離出感興趣的前景目標(biāo)（紅衣女），之后對(duì)其跟蹤，最后形成結(jié)論（丟下一個(gè)包），之后將整個(gè)過(guò)程的完整信息傳給大腦去按規(guī)則判定。

    無(wú)論采用何種視頻分析架構(gòu)，其視頻分析過(guò)程都是視頻內(nèi)容分析的算法模塊“協(xié)力作業(yè)”的結(jié)果，視頻分析基本過(guò)程如下（見(jiàn)圖4）：

·加載算法過(guò)程：加載用戶(hù)的預(yù)定義規(guī)則，如防區(qū)、分析模式等；
·過(guò)濾器加載：對(duì)特殊場(chǎng)景進(jìn)行預(yù)處理如防抖動(dòng)、雨雪、燈光抑制等；
·背景建模及更新：背景模型建立并自動(dòng)學(xué)習(xí)更新背景情況；
·目標(biāo)提取與跟蹤：提取跟蹤前景變化目標(biāo)，檢測(cè)并分析目標(biāo)的活動(dòng)；
·目標(biāo)分類(lèi)：對(duì)跟蹤的目標(biāo)進(jìn)行分類(lèi)，如人或車(chē)輛等；
·視頻分析判斷過(guò)程：根據(jù)規(guī)則判斷是否符合預(yù)定義規(guī)則；
·觸發(fā)報(bào)警過(guò)程：確定目標(biāo)活動(dòng)違反規(guī)則，根據(jù)預(yù)定義傳輸報(bào)警到指定的用戶(hù)。

視頻分析技術(shù)難點(diǎn)
    視頻分析技術(shù)本身并不是一項(xiàng)新技術(shù)，但其在視頻監(jiān)控系統(tǒng)中的應(yīng)用還僅僅處于起步階段，它給視頻監(jiān)控系統(tǒng)帶來(lái)了顛覆性的革命，具有美好的發(fā)展遠(yuǎn)景。目前，視頻分析系統(tǒng)本身有一些技術(shù)問(wèn)題有待提升，下面是一些需要克服的技術(shù)難點(diǎn)。[nextpage]

光照適應(yīng)性
    通常，視頻監(jiān)控系統(tǒng)需要24小時(shí)晝夜工作，所處環(huán)境的光照情況也是一直處于變化中，如晝夜的交替、陰晴雨雪霧等天氣條件，及外界光源干擾，如照明燈光、逆光、反光、車(chē)燈，還有室外云彩、云影的動(dòng)態(tài)變化等，所有這些都對(duì)視頻分析核心算法的光照適應(yīng)性提出了嚴(yán)格的要求，優(yōu)異的視頻分析算法應(yīng)該具有先進(jìn)的背景學(xué)習(xí)、更新、維護(hù)功能。

自然天氣變化
    雨、雪、霧、沙塵天氣、煙霧、氣流、云影等，體現(xiàn)的不僅僅是光照的變化，而是真正的圖像像素變化，這些“小假象”會(huì)導(dǎo)致系統(tǒng)視為場(chǎng)景中有物體在移動(dòng)，從而干擾了真正的目標(biāo)探測(cè)，浪費(fèi)系統(tǒng)資源，因此，需要采用“過(guò)濾”機(jī)制將這些干擾做過(guò)濾處理。

背景的高頻率變化
    在視頻圖像背景中，可能出現(xiàn)搖動(dòng)的樹(shù)葉、晃動(dòng)的波浪、光線(xiàn)反射、物體的反光、草地的微動(dòng)等等現(xiàn)象，這些現(xiàn)象都可能造成畫(huà)面像素出現(xiàn)變化，從而導(dǎo)致誤報(bào)。系統(tǒng)需要具有先進(jìn)的過(guò)濾器，實(shí)現(xiàn)對(duì)規(guī)則往復(fù)性、細(xì)小運(yùn)動(dòng)進(jìn)行過(guò)濾，使其集中精力在前景。

高速移動(dòng)目標(biāo)
    視頻分析系統(tǒng)基于自身算法及目前處理器的運(yùn)算處理能力，通常對(duì)非實(shí)時(shí)視頻圖像進(jìn)行分析（如每秒采用12幀或6幀），這樣當(dāng)像素的采用頻率比較低的時(shí)候，視頻分析算法需要連續(xù)分析一定數(shù)量的幀才能確定是否報(bào)警，而這時(shí)如果需要的分析時(shí)間長(zhǎng)于入侵者通過(guò)防范區(qū)域的時(shí)間，入侵者可能已經(jīng)完成入侵動(dòng)作而導(dǎo)致系統(tǒng)漏報(bào)。

視頻分析的架構(gòu)
    目前，在實(shí)際應(yīng)用中，視頻分析產(chǎn)品主要有三種架構(gòu)：一種是基于后端的服務(wù)器（軟件算法運(yùn)行于CPU）；第二種是基于前端的IPC或DVS；第三種是利用前端嵌入式視頻分析設(shè)備（僅僅做視頻分析，不做編碼壓縮工作）。其中，第三種方式是在嵌入式設(shè)備中固化視頻分析模塊，利用網(wǎng)絡(luò)客戶(hù)端進(jìn)行遠(yuǎn)程配置與報(bào)警管理。三種架構(gòu)也可以按照目前主流說(shuō)法分成兩大類(lèi)，即前端分析與后端分析（見(jiàn)圖5）。

[nextpage]    需要注意的是，對(duì)于視頻分析功能，最根本的考核是性能，即良好的探測(cè)率和較低的誤報(bào)率。其實(shí)視頻分析架構(gòu)方式并不是最重要的，其實(shí)質(zhì)都是視頻分析算法來(lái)完成的，只不過(guò)是運(yùn)行平臺(tái)不同，一個(gè)在DSP上，一個(gè)在計(jì)算機(jī)的CPU上，也不存在某種方式絕對(duì)好與壞，實(shí)際應(yīng)用中應(yīng)該根據(jù)項(xiàng)目的規(guī)模、前期設(shè)備的架構(gòu)、用戶(hù)的需求、網(wǎng)路建設(shè)等具體情況進(jìn)行選擇部署。

視頻分析技術(shù)實(shí)施誤區(qū)
    視頻分析的設(shè)置本身并不難，通常步驟是：選擇好視場(chǎng)、明確分析模式，然后進(jìn)行防區(qū)、分辨率、靈敏度、各種過(guò)濾器的選擇和使用。設(shè)置視頻分析的過(guò)程很快，但是，對(duì)一個(gè)通道視頻分析進(jìn)行參數(shù)微調(diào)、現(xiàn)場(chǎng)模擬、參數(shù)修正、再模擬、算法優(yōu)化、效果觀察等工作卻是一個(gè)漫長(zhǎng)而復(fù)雜的工作。在各環(huán)節(jié)中，要解決 “提高探測(cè)率，降低誤報(bào)率”的問(wèn)題，必須長(zhǎng)期地嘗試和試驗(yàn)，這也是視頻分析廠家實(shí)驗(yàn)室產(chǎn)品和真正可投入應(yīng)用的產(chǎn)品的最大區(qū)別。

    視頻分析產(chǎn)品的真正考量在室外環(huán)境，對(duì)于室內(nèi)環(huán)境，廠商基本可以進(jìn)行模擬試驗(yàn)，問(wèn)題不大。但是對(duì)于大型戶(hù)外項(xiàng)目，環(huán)境復(fù)雜、遇到的問(wèn)題比較多，系統(tǒng)調(diào)試階段工作量比較大，從調(diào)試到試運(yùn)行，可能需要不止一次的現(xiàn)場(chǎng)模擬、參數(shù)微調(diào)、效果觀察、統(tǒng)計(jì)、再模擬過(guò)程。每個(gè)項(xiàng)目有自己的特點(diǎn)、一個(gè)項(xiàng)目中各點(diǎn)位有自己的特點(diǎn)，各點(diǎn)位又有不同的應(yīng)用需求，并且視頻分析產(chǎn)品并非是“即插即用”的產(chǎn)品，因此必須針對(duì)不同的項(xiàng)目、不同的點(diǎn)位、不同的需求進(jìn)行有針對(duì)地實(shí)施。

    視頻分析技術(shù)具有一定的復(fù)雜度，國(guó)際上真正掌握視頻分析算法的廠家并不多，從掌握算法、推出實(shí)驗(yàn)室產(chǎn)品到產(chǎn)品真正能夠投入項(xiàng)目運(yùn)行，還有很長(zhǎng)的路要走。對(duì)于一些非常普遍的場(chǎng)景，在實(shí)驗(yàn)室中進(jìn)行模擬有一定困難，因此許多廠家利用工程項(xiàng)目實(shí)施過(guò)程，不斷修正參數(shù)以適應(yīng)不同的環(huán)境，這并不代表廠家的產(chǎn)品不成熟，反而是廠家實(shí)力的體現(xiàn)。

如何選擇視頻分析產(chǎn)品
    視頻分析系統(tǒng)涉及編碼壓縮、視頻分析算法、系統(tǒng)平臺(tái)等多種應(yīng)用，因此廠家的行業(yè)經(jīng)驗(yàn)積累、開(kāi)發(fā)能力和對(duì)需求的理解等因素至關(guān)重要。產(chǎn)品發(fā)布時(shí)間早、成功案例多的供應(yīng)商，其產(chǎn)品會(huì)越成熟和可靠。在復(fù)雜室外環(huán)境下的誤報(bào)率和漏報(bào)率能反應(yīng)廠家真正的實(shí)力，室外環(huán)境，風(fēng)霜雨雪霧、高處物體或飛鳥(niǎo)的陰影、搖動(dòng)的樹(shù)葉、海浪、攝像機(jī)的風(fēng)擺震動(dòng)、室外建筑的反光等都可能是觸發(fā)誤報(bào)的原因。但優(yōu)秀的廠家已經(jīng)掌握了以上誤報(bào)的解決方案并使VCA產(chǎn)品表現(xiàn)日益優(yōu)秀。

    如前文所述，目前視頻分析技術(shù)的架構(gòu)方式主要是是基于后端服務(wù)器和采用DSP方式，兩種方式?jīng)]有孰優(yōu)孰劣的問(wèn)題。但值得注意的是，基于后端服務(wù)器的視頻分析系統(tǒng)，可以靈活地調(diào)整所需要視頻分析的通道及變更視頻分析模式，而基于前端（DVS、IPC）的視頻分析方式，由于是硬件方式，比較固定，一旦建設(shè)完成，如果想增加或取消視頻分析通道，或需要更改分析模式可能需要硬件的更換或者固件的升級(jí)工作。具體選擇何種視頻分析產(chǎn)品，應(yīng)根據(jù)自己的實(shí)際需求來(lái)決定。

     （本文作者西剎子系國(guó)家一級(jí)建造師，系統(tǒng)集成項(xiàng)目經(jīng)理，8年安防行業(yè)設(shè)計(jì)、咨詢(xún)、調(diào)試經(jīng)驗(yàn)，具有大量的鐵路、地鐵智能IP監(jiān)控行業(yè)經(jīng)驗(yàn)，并建有自己的博客）