2004年筆者提出了“圖像內(nèi)容分析”的概念，當(dāng)時許多人并不接受、不認(rèn)可，但是后來都這樣講了。2009年又提出了“視頻語義解釋”的概念，開始也不被人認(rèn)可，現(xiàn)在大家也都這么說了。提出一些新名詞，不是搞文字游戲，而是希望通過對其技術(shù)內(nèi)涵的理解，探索智能監(jiān)控技術(shù)的發(fā)展之路。把“智能化”從抽象的概念轉(zhuǎn)化為具體的課題和產(chǎn)品，從美好的愿景變成真實(shí)的體驗。

　　視頻監(jiān)控技術(shù)正在從經(jīng)典向現(xiàn)代轉(zhuǎn)變，集中體現(xiàn)在監(jiān)控系統(tǒng)的數(shù)字化、網(wǎng)絡(luò)化和智能化的過程中。筆者認(rèn)為實(shí)現(xiàn)這個轉(zhuǎn)變的標(biāo)志是：系統(tǒng)中信息流的形態(tài)由模擬的視頻信號轉(zhuǎn)變?yōu)閿?shù)字流，攝像機(jī)不再是唯一的采集圖像信息(生成圖像)的設(shè)備(信源);系統(tǒng)由單功能、單向、集總式的信息采集網(wǎng)絡(luò)轉(zhuǎn)變?yōu)榫C合、交互、公布式的架構(gòu);系統(tǒng)實(shí)現(xiàn)圖像信息的機(jī)器(自動)解釋，改變主要以人的直接觀察為提取圖像有用信息(目視解釋)的工作方式。系統(tǒng)中心設(shè)備將從以前端設(shè)備管理(控制與遙控、視頻信號的分配與切換)為主轉(zhuǎn)變?yōu)橐詧D像處理(分析、識別、關(guān)聯(lián))為核心。

　　可以說，經(jīng)典視頻監(jiān)控系統(tǒng)是以攝像機(jī)為核心的，在整個過程中、對攝像機(jī)產(chǎn)生的視頻信號基本上不作任何處理，最后通過人的觀察(目視解釋)來獲取圖像的有用信息。現(xiàn)代視頻監(jiān)控系統(tǒng)則是以圖像探測和圖像處理為核心，通過圖像信息的自動解釋，極大地提高系統(tǒng)對圖像信息的利用水平。如果說經(jīng)典視頻監(jiān)控是人視覺的延伸，現(xiàn)代視頻監(jiān)控就是人的思維(大腦)的擴(kuò)展。

　　智能監(jiān)控

　　智能化是自動化的最高境界。表現(xiàn)為系統(tǒng)自主、優(yōu)化地調(diào)節(jié)和準(zhǔn)確、協(xié)調(diào)地互動。自動化系統(tǒng)分為三個層次：系統(tǒng)遙控、編程控制和自主動作。在視頻監(jiān)控領(lǐng)域主要表現(xiàn)在以下三個方面：

　　系統(tǒng)功能控制與聯(lián)動

　　視頻監(jiān)控系統(tǒng)中的大多功能可以通過遙控來進(jìn)行調(diào)節(jié)，如攝像機(jī)的方位、鏡頭的焦距和光圈等;也有一些功能可以通過編程控制來完成，如云臺的轉(zhuǎn)動(自動轉(zhuǎn)、自動掃描、預(yù)置位)等;還有一些功能已可根據(jù)對圖像的檢測或分析實(shí)現(xiàn)自主、優(yōu)化的調(diào)節(jié)。如自動光圈、目標(biāo)的自動跟蹤等。

　　圖像信息的自動解釋

　　圖像系統(tǒng)最主要的特點(diǎn)是信息量大，因此，如何充分發(fā)揮這個特點(diǎn)，提高系統(tǒng)信息利用水平是視頻監(jiān)控系統(tǒng)始終追求的目標(biāo)，圖像信息的自動解釋是必由之路。

　　目前，已有許多技術(shù)和產(chǎn)品應(yīng)用，如通過指紋、人臉識別來進(jìn)行個體身份識別，通過對圖像的分析，發(fā)現(xiàn)異常狀態(tài)來產(chǎn)生報警等，但這些技術(shù)和產(chǎn)品受環(huán)境因素的限制較大，在通常的視頻監(jiān)控環(huán)境中，成熟性和實(shí)用還較低，特別是對于多目標(biāo)和復(fù)雜背景時。在監(jiān)控環(huán)境下實(shí)現(xiàn)圖像信息的自動解釋是視頻監(jiān)控系統(tǒng)智能化的關(guān)鍵技術(shù)，是科研的重點(diǎn)和熱點(diǎn)，也是拉動視頻監(jiān)控技術(shù)、安防技術(shù)科技進(jìn)步的箭頭。

　　系統(tǒng)自適應(yīng)、自診斷、友好的界面

　　系統(tǒng)對環(huán)境的適應(yīng)、對故障的自論斷，以及友好的人機(jī)交互界面也是系統(tǒng)智能化的內(nèi)容。它涉及系統(tǒng)控制、故障檢測等多個方面，主要是對圖像質(zhì)量的監(jiān)測、系統(tǒng)及設(shè)備工作狀的監(jiān)測。

　　以上幾個方面以圖像信息的自動解釋最為重要和最為引入關(guān)注，它關(guān)系圖像系統(tǒng)最核心的問題——圖像信息的利用水平。可以說：圖像信息的自動解釋是監(jiān)控系統(tǒng)智能化標(biāo)志，是現(xiàn)代視頻監(jiān)控的基本特征。

　　視頻監(jiān)控智能化的途徑

　　圖像信息的自動解釋有兩個基本途徑：一是圖像識別，主要利用圖像信息的空間分辨能力，實(shí)現(xiàn)個體的身份認(rèn)證;二是圖像內(nèi)容分析、主要是利用圖像信息的時間分辨能力，理解圖像，進(jìn)行目標(biāo)行為的分析。

　　圖像識別

　　主要是指通過對一幀圖像中指定目標(biāo)的特征識別，實(shí)現(xiàn)個體身份認(rèn)證，典型的實(shí)例是人臉識別。研究證明，人的行為也是一種生物特征，如步態(tài)，眼部動作等。對人步態(tài)的分析可以用于個體的識別，但它是通過對一段圖像序列的識別來進(jìn)行個體身份的認(rèn)證。無論什么方式，圖像識別都有要求兩個基本條件：一是定義特征;二是建立一定數(shù)量的樣本數(shù)據(jù)庫。定義特征，選擇具有唯一性和相對穩(wěn)定的特征來表示個體，如用人臉上的標(biāo)志點(diǎn)來形成特征矢量。樣本數(shù)據(jù)庫，按特征的定義采集一定數(shù)量(根據(jù)應(yīng)用)的樣本特征，建立樣本庫。

　　圖像識別的基本工作方法是：將現(xiàn)場采集的目標(biāo)特征數(shù)據(jù)與樣本庫中的數(shù)據(jù)進(jìn)行比對。這就這要求現(xiàn)場采集的特征數(shù)據(jù)和樣本庫數(shù)據(jù)具有相關(guān)(可比)性，因此必須建立一個適當(dāng)限制的應(yīng)用環(huán)境，才能保證系統(tǒng)正常的工作。

　　個體身份認(rèn)證是安全系統(tǒng)最迫切的要求，近年來有了大量的成果，也有了初步的應(yīng)用，主要有兩種方式：第一是驗證，識別監(jiān)控目標(biāo)，確認(rèn)目標(biāo)的身份及正在發(fā)生行為的合法性，是安防系統(tǒng)的功能和典型應(yīng)用;第二則是識別，將現(xiàn)場采集的特征與樣本庫進(jìn)行比對，確定目標(biāo)的身份，以發(fā)現(xiàn)事件的相關(guān)線索，是偵察工作的典型應(yīng)用。系統(tǒng)要建立海量的樣本數(shù)據(jù)庫。通常的視頻監(jiān)控系統(tǒng)達(dá)不到上述應(yīng)用的環(huán)境條件。

　　圖像識別系統(tǒng)包括圖像輸入、圖像的預(yù)處理、特征的提取和圖像的解釋(識別)等技術(shù)環(huán)節(jié)和設(shè)備。其關(guān)鍵技術(shù)或難點(diǎn)在于實(shí)現(xiàn)系統(tǒng)能在一種適當(dāng)控制的環(huán)境下，針對移動目標(biāo)實(shí)時地運(yùn)行，這些目標(biāo)通過靜止攝像機(jī)可能會產(chǎn)生大小不同、角度不同及光照效果不同的圖像。并在各種可能的非最佳條件下進(jìn)行識別，如由于年齡、面部表情、配飾(眼鏡、帽子)及可能的偽裝(化妝)造成圖像的差異。就要求系統(tǒng)采用適當(dāng)?shù)膱D像輸入方法和預(yù)處理技術(shù)，以保證圖像特征有效地提取，樣本的生成和數(shù)據(jù)庫的建立。

　　圖像識別的方法基本上分為統(tǒng)計方法和結(jié)構(gòu)分析兩類，前者是以數(shù)學(xué)決策理論為基礎(chǔ)，建立統(tǒng)計學(xué)的識別模型，指紋、掌形的識別多采用這種方法，其特點(diǎn)是穩(wěn)定，但很少利用圖像本身的結(jié)構(gòu)關(guān)系。后者則主要是分析圖像的結(jié)構(gòu)，它充分地發(fā)揮了圖像的特點(diǎn)，但容易受圖像生成過程中噪聲干擾的影響。[nextpage]

　　圖像內(nèi)容分析

　　由于通常的監(jiān)控系統(tǒng)不適合于進(jìn)行圖像識別，監(jiān)控系統(tǒng)的智能化就必須尋找新的途徑。圖像內(nèi)容分析就成了智能監(jiān)控的切入點(diǎn)。圖像內(nèi)容分析，自主的定義(簡單)特征，不與原始輸入相對比;通過目標(biāo)狀態(tài)和行為的分析，理解圖像內(nèi)容(判斷正常/不正常、預(yù)測趨勢);通過圖像關(guān)聯(lián)，實(shí)現(xiàn)目標(biāo)的識別。

　　圖像內(nèi)容分析分為兩個層次：首先是視頻探測，視頻探測在模擬電視技術(shù)中就已得到了應(yīng)用。在一幅上開圖像一個窗口，檢測其亮度電平的變化，就可以實(shí)現(xiàn)探測。通過一系列窗口的監(jiān)測其亮度電平的變化，就可以實(shí)現(xiàn)運(yùn)動探測。但它不是真正的視頻探測，因為它不能確定目標(biāo)。在數(shù)字視頻基礎(chǔ)上，首先確認(rèn)圖像中的探測目標(biāo)，然后再進(jìn)行其行為的分析，判斷出圖像中是否出現(xiàn)了“不正?！鼻闆r，及時發(fā)出報警。真正的視頻探測，它可準(zhǔn)確地判斷事件，實(shí)現(xiàn)真實(shí)探測。視頻探測還非常適于空間的多維探測和多參數(shù)探測，同時處理來自不同方位攝像設(shè)備的圖像信號，可以做到對目標(biāo)多方位的監(jiān)控，實(shí)現(xiàn)對特定空間和目標(biāo)的完全封閉;其次是視頻語義解釋，通過閱讀一段圖像，理解圖像的內(nèi)容(視頻語義)并把它表達(dá)出來，它描述的不是圖像本身，而是圖像的結(jié)構(gòu)及表現(xiàn)的內(nèi)容、情節(jié)，既視頻語義。根據(jù)語義可以對圖像信息進(jìn)行標(biāo)引，在記錄圖像的同時，生成鏡像的標(biāo)引文件，然后可以通過標(biāo)引文件對存貯信息進(jìn)行快速和準(zhǔn)確的檢索;進(jìn)而實(shí)現(xiàn)圖像信息間的關(guān)聯(lián)，圖像信息與聲音、圖形、文本信息之間的關(guān)聯(lián)，這是圖像信息深化應(yīng)用的前提。

　　圖像內(nèi)容分析研究的過程分四個階段，產(chǎn)品和應(yīng)用也分四個層面;第一是將(運(yùn)動)目標(biāo)從視頻圖像中分離出來。并能在簡單環(huán)境下(單目標(biāo)、背景單純)對目標(biāo)分類;第二是在簡單環(huán)境下對目標(biāo)進(jìn)行行為分析，判定其運(yùn)動的方向、方式、目標(biāo)的復(fù)合或離散，發(fā)現(xiàn)和告警異常的行為;產(chǎn)生目標(biāo)的運(yùn)動軌跡，并能進(jìn)行目標(biāo)的自動跟蹤;進(jìn)行目標(biāo)的統(tǒng)計、關(guān)聯(lián)、過濾、趨勢預(yù)測等。第三是在復(fù)雜環(huán)境(既通常的視頻監(jiān)控環(huán)境)下實(shí)現(xiàn)上述功能,并實(shí)現(xiàn)(單源、多源)圖像的關(guān)聯(lián);第四是實(shí)現(xiàn)視頻語義的解析，通過對一個圖像序列的理解，做出視頻語義解釋。目前已有了一些成果，但尚不具實(shí)用性。其中第三個階段是技術(shù)實(shí)用性的關(guān)鍵，達(dá)到了這一點(diǎn)，系統(tǒng)才具有應(yīng)用價值，目前大多數(shù)產(chǎn)品還達(dá)不到這一階段。

　　視頻的語義解釋是內(nèi)容分析的最高境界，它表明機(jī)器具有了與人一樣的理解圖像的能力，但具有人所不能達(dá)到的效率，目前還達(dá)不到這個程度。關(guān)于圖像結(jié)構(gòu)和內(nèi)容的描述還需要目視解釋的幫助。前三階段的工作可稱為視頻的半語義解釋。主要是判斷圖像中是否出現(xiàn)了不正常的情況，還不能準(zhǔn)確、充分地理解圖像內(nèi)容。

　　IPC給智能監(jiān)控的啟示

　　IPC(網(wǎng)絡(luò)攝像機(jī))是網(wǎng)絡(luò)監(jiān)控系統(tǒng)中的主要設(shè)備，有些知名廠家給它的新定義，為智能監(jiān)控帶來了有益的啟示。通常認(rèn)為攝像機(jī)是產(chǎn)生圖像信息的設(shè)備，IPC就是產(chǎn)生數(shù)字流圖像信息的設(shè)備。IPC的新定義則是：產(chǎn)生圖像信息和增值信息的設(shè)備。增值信息包括：圖像質(zhì)量的信息，圖像散焦、照度不足、圖像(鏡頭)被污等造成的圖像質(zhì)量劣化;圖像探測的信息，圖像內(nèi)容分析的功能，發(fā)現(xiàn)圖像的不正常情況，發(fā)出相關(guān)(報警)信息;設(shè)備狀態(tài)的信息，IPC狀態(tài)及網(wǎng)絡(luò)環(huán)境的監(jiān)測，對故障進(jìn)行自診斷，對環(huán)境能自適應(yīng)，并發(fā)出相關(guān)信息。具備了這些功能，IPC具有了智能，成為智能監(jiān)控系統(tǒng)的基本(最小)單元。

　　更有新意的是，IPC時的增值信息可以傳遞給相鄰的IPC(互聯(lián)、傳送探測信息、傳感網(wǎng))：實(shí)現(xiàn)IPC之間、IPC與監(jiān)控目標(biāo)之間的互聯(lián)和真實(shí)的感知與互動，這就是傳感網(wǎng)(物聯(lián)的基本單元)的概念。如實(shí)現(xiàn)多個IPC對監(jiān)控目標(biāo)的跟蹤;全方位IPC對固定IPC發(fā)現(xiàn)目標(biāo)的自動跟蹤等。這樣的系統(tǒng)就是真正的物聯(lián)網(wǎng)。所以說：視頻監(jiān)控智能化是構(gòu)建物聯(lián)網(wǎng)的關(guān)鍵技術(shù);IPC是構(gòu)成物聯(lián)網(wǎng)的重要單元。

　　上述架構(gòu)對確定圖像智能化的系統(tǒng)架構(gòu)也有很好的啟示，表明圖像智能系統(tǒng)的最佳結(jié)構(gòu)是：分布增強(qiáng)處理架構(gòu)(DEPA)。視頻的探測功能由前端設(shè)備完成，而圖像信息綜合分析、信息關(guān)聯(lián)在系統(tǒng)后臺進(jìn)行。它符合圖像信號的特點(diǎn)，在圖像壓縮前，圖像數(shù)據(jù)流保持與空間圖像在時間和空間上的一一對應(yīng)關(guān)系，是進(jìn)行個體識別、內(nèi)容分析的最佳形態(tài)，壓縮后的數(shù)據(jù)流沒有了這種對應(yīng)性，且有了損傷，進(jìn)行上述處理的難度很大。所以IPC在生成圖像信號的同時產(chǎn)生增值信息是最合理的技術(shù)路線。再有前端IPC傳感網(wǎng)也是對監(jiān)控系統(tǒng)監(jiān)視區(qū)設(shè)計的最好說明。監(jiān)控系統(tǒng)不能一個點(diǎn)、一個點(diǎn)孤立地去設(shè)計攝像機(jī)，要建立監(jiān)控區(qū)的概念，對監(jiān)控區(qū)內(nèi)攝像機(jī)的配置(數(shù)量、選型、功能)、監(jiān)控效果和目標(biāo)進(jìn)行整體的規(guī)劃。

　　監(jiān)控區(qū)的設(shè)計將增強(qiáng)系統(tǒng)實(shí)時監(jiān)控的能力和效率;提高系統(tǒng)快速捕捉事件、獲得完整信息的能力。業(yè)務(wù)部門在實(shí)戰(zhàn)中總結(jié)了“八大戰(zhàn)法”，通常是用人工控制或編程設(shè)計實(shí)現(xiàn)的。前者效率低，后者缺少與監(jiān)控目標(biāo)的互動。 IPC傳感網(wǎng)可構(gòu)成智能監(jiān)控區(qū)，系統(tǒng)通過對監(jiān)控目標(biāo)圖像的分析，自主地實(shí)現(xiàn)上述各種戰(zhàn)法。

　　應(yīng)用、實(shí)事求是

　　視頻監(jiān)控的智能化是逐步發(fā)展的過程，不可能一蹴而就，也沒有終極的結(jié)果，要經(jīng)過不斷的技術(shù)積累，特別是核心關(guān)鍵技術(shù)的突破。當(dāng)前，重要的不是“智能化”概念的推廣，而是要具體明確：它可以做什么，做到什么程度，適應(yīng)什么應(yīng)用環(huán)境，以及科學(xué)的可操作的評出評價。本文之所以對基本概念進(jìn)行解釋，就是希望通過這樣的定義，理解它的內(nèi)涵，將智能技術(shù)從抽象的概念轉(zhuǎn)化為具體的產(chǎn)品和課題，讓人們真實(shí)地感受到實(shí)際的效果。