介紹
智能監(jiān)控的英文名稱是Intelligent Monitor.智能監(jiān)控是嵌入式視頻服務器中,集成了智能行為識別算法,能夠對畫面場景中的人或車輛的行為進行識別、判斷,并在適當?shù)臈l件下,產生報警提示用戶。結合CreMedia6.0中心管理系統(tǒng)軟件,能完成更多的聯(lián)動報警功能。
識別歸類
智能行為識別當前比較主流的識別歸類:
物體識別
能區(qū)分出移動物體的類別和行為,是轎車,還是摩托車、還是人、還是飛機等等,同時還能判斷移動物體是行走、倒下、速度或其他,這是其他識別的基礎。
越界識別
在視頻畫面上人為的畫一道線或曲線,可以識別出物體穿越此界限的行為。比如視野是個馬路上,畫一條線把道路分成兩端,假設定義了從左到右是合法,從右到左為非法,一旦車輛行駛跨越了這個界線,設備判斷其是否非法,非法則產生報警。
軌跡跟蹤
識別處移動物體之后,能在移動的元素后面畫出其運動經(jīng)過場所的軌跡。如廣場、車站等公眾場所,人流穿梭,設備能顯示并記錄下每個人的走動軌跡,如果一個人長時間在視野中徘徊游蕩,超過一定時間,則設備自動報警提示發(fā)現(xiàn)可疑行為人物。
遺留或丟失物體識別
設備能識別出視野場景中的物體多出一個或者少了一個,適合倉庫、車站、展廳、安檢等場所,如果有背包長時間丟失在某處無人拾取,超過設定的時間,系統(tǒng)將產生報警,或者像展廳這些場所,如果展示品缺少一件,設備也能發(fā)現(xiàn)并報警。
車牌識別
如果視頻場景是個道路口或者小區(qū)出入口;只要車牌區(qū)域在視頻中出現(xiàn)過,設備能自動識別出車牌號碼;并以文字的方式提示用戶??梢杂糜谶`規(guī)車輛稽查,比如某牌照車輛在事故后逃逸不知去處,如果市內各要道口都有智能識視頻服務器,系統(tǒng)只有通過網(wǎng)絡一次性把一個或幾個需要稽查的車牌號碼設置到系統(tǒng)中的各個智能設備中,一旦此牌照的車輛在視野中出現(xiàn)過,就能立即告警。節(jié)省許多警力資源。
車速測量
比如高速路上有200M的速度提示區(qū),時時提醒駕駛員不要超速行駛,然而超速行駛還是屢屢發(fā)生;試想如果在高速路上安裝一個智能視頻服務器,我們只要在視野中畫兩道線,如果確知這兩道線的實際距離是100M,輸入到設備中,設備就能自動計算出每個進過車輛的速度,并且超速時立即報警。
流量統(tǒng)計
智能設備能識別出過往的行人和車輛,同時能統(tǒng)計出過往的人或車的數(shù)量;試想在一個十字路口或者一個會展中心的門口,安裝這樣一個智能設備,就能統(tǒng)計處過往車流量或人流量。為公交調度提供更多更及時的信息。
逆行告警
比如單行道,或者車站、機場的出口或入口,車流人流都是單方向的,一旦有人逆行,系統(tǒng)會自動識別出,并產生報警。
涂鴉行為識別
原本潔凈的墻面,被人亂貼小廣告、電話或者亂涂亂畫等,有礙市容。有了智能監(jiān)控系統(tǒng)設備,就能及時發(fā)現(xiàn)這樣的涂鴉行為,并及時告警。
打架等反常行為視頻
公園、廣場、車站等公眾場合,人流眾多,任何突發(fā)的危害人身安全的行為都可能造成重大損失和負面影響。智能識別系統(tǒng),能及時發(fā)現(xiàn)人或車輛的異常行為,突然奔跑、摔倒,追打等行為,系統(tǒng)都會及時發(fā)現(xiàn)并提醒管理者。
監(jiān)控技術的發(fā)展
核心內容
視頻監(jiān)控是通過獲取監(jiān)控目標的視頻圖像信息,對視頻圖像進行監(jiān)視、記錄、回溯,并根據(jù)視頻圖像信息人工或自動地做出相應的動作,以達到對監(jiān)控目標的監(jiān)視、控制、安全防范和智能管理,已被廣泛應用于軍事、海關、公安、消防、林業(yè)、堤壩、機場、鐵路、港口、城市交通等眾多公眾場合,隨著技術的進步和成本的降低將逐漸普及到家庭安全防范和娛樂應用。監(jiān)控技術經(jīng)歷了很多不同的階段,圖像監(jiān)控技術是視頻監(jiān)控的核心內容。
模擬視頻監(jiān)控系統(tǒng)
早期的視頻監(jiān)控是以攝像機、監(jiān)視器(電視機)組成的純模擬的視頻監(jiān)控系統(tǒng),稱為閉路監(jiān)視系統(tǒng)。其特點是一個攝像機對應一臺監(jiān)視器(電視機)的監(jiān)視,只能監(jiān)控范圍很小的區(qū)域。隨后出現(xiàn)了視頻切換設備,改變了攝像機和監(jiān)視器(電視機)的1對1的方式。并且隨著單片機技術的不斷完善,閉路監(jiān)視系統(tǒng)加入了多路視頻切換、攝像機云臺/鏡頭控制和報警聯(lián)動等數(shù)字控制功能,實現(xiàn)了數(shù)字控制的模擬視頻監(jiān)控系統(tǒng),這些統(tǒng)稱為第一代視頻監(jiān)控系統(tǒng)。
數(shù)字視頻監(jiān)控系統(tǒng)
20世紀90年代中期,隨著計算機處理能力的提高和視頻技術的發(fā)展,人們利用計算機的高速數(shù)據(jù)處理能力進行視頻的采集和處理,從而大大提高了圖像質量,增強了視頻監(jiān)控的功能。這種基于多媒體計算機的系統(tǒng)稱為第二代視頻監(jiān)控系統(tǒng),即模擬輸入與數(shù)字壓縮、顯示和控制系統(tǒng)。因為核心設備是數(shù)字設備,因此可以稱為數(shù)字視頻監(jiān)控系統(tǒng)。
網(wǎng)絡數(shù)字視頻監(jiān)控
到了20世紀90年代末特別是近兩三年,隨著網(wǎng)絡帶寬、計算機處理能力和存儲器容量的迅速提高,以及各種實用視頻信息處理技術的出現(xiàn),視頻監(jiān)控進入了全數(shù)字化的網(wǎng)絡時代,稱為第三代視頻監(jiān)控系統(tǒng),即全數(shù)字視頻監(jiān)控系統(tǒng)或網(wǎng)絡數(shù)字視頻監(jiān)控。第三代視頻監(jiān)控系統(tǒng)以網(wǎng)絡為依托,以數(shù)字視頻的壓縮、傳輸、存儲和播放為核心,以智能實用的圖像分析為特色,引發(fā)了視頻監(jiān)控行業(yè)的技術革命。
本世紀初,隨著以TI公司的TMS320C6000系列、Philips公司的Trimedia、Equator公司的BSP-15等為代表的高性能DSP的出現(xiàn),由嵌入式處理器來實時完成高速、大數(shù)據(jù)量的視頻/音頻編解碼處理成為可能,結合網(wǎng)絡通訊技術,使集可編程圖像/聲音編解碼、本地存儲、網(wǎng)絡傳輸和自動化技術為一體的嵌入式數(shù)字視頻監(jiān)控系統(tǒng)應運而生。以DSP為核心的嵌入式數(shù)字視頻監(jiān)控系統(tǒng),配合嵌入式實時操作系統(tǒng),可以以應用為中心,根據(jù)應用對功能、可靠性、穩(wěn)定性、成本、體積等的綜合要求,對軟/硬件進行裁剪,以滿足視頻監(jiān)控發(fā)展的兩大需要:數(shù)字化和網(wǎng)絡化。
目前監(jiān)控領域最流行的是嵌入式DVR(數(shù)字視頻錄像機或數(shù)字硬盤錄像機)系統(tǒng),使用TI的DM642或ADI的BF561等DSP芯片。
監(jiān)控技術的應用
應用實例
從功能上講,視頻監(jiān)控可用于安全防范、信息獲取和指揮調度等方面,可以提供生產流程控制、大型公共設施的安防,也能為醫(yī)療監(jiān)護、遠程教育等提供各種服務。
從應用領域上看,視頻監(jiān)控在各行各業(yè)都得到了廣泛的應用,除了檔案室、文件室、金庫、博物館等重要部門的監(jiān)視和報警,在公共場所進行安全監(jiān)控,在其他經(jīng)濟和生活領域進行管理和控制也是必不可少的。
具體應用實例有:
金融領域
:營業(yè)大廳監(jiān)控、金庫的監(jiān)控、自動提款機及自助銀行監(jiān)控等。
電信/電力領域:交換機房、無線機房、動力機房等的遠程監(jiān)控、變電站、電廠等的遠程無人值守監(jiān)控。
商業(yè)市場:商場的保安監(jiān)控、超級市場的出入口監(jiān)控、碼頭、貨柜、大型倉庫的監(jiān)管等。
軍事領域:基地安防、公安偵破、監(jiān)獄法庭管理等。我國有上萬公里的海岸線和邊境線,與多個國家毗鄰。準確及時地掌握邊海防區(qū)域的軍事情況,對于有效保衛(wèi)祖國的領海和領土,在未來戰(zhàn)爭中做出快速反應、掌握戰(zhàn)爭主動權有著極其重要的意義。建立邊海防遠程視頻監(jiān)控系統(tǒng),對關鍵口岸、哨所和敏感地區(qū)實施監(jiān)控,就能使我軍情報部門直觀、及時地監(jiān)控邊海防前線的當面情況,提高情報獲取的實時性和綜合處理能力,也能有效防止偷渡、出逃、走私、販毒等非法行為。
交通領域
:高速公路收費管理、交通違章和流量監(jiān)控、公共交通車輛牌照管理、公路橋梁鐵路機場等場所的遠程圖像監(jiān)控等。有效的交通管理是我國各大都市面臨的難題。智能視頻交通控制系統(tǒng)能及時提供各路段的車輛流量和路況信息,記錄違章車輛,以便實現(xiàn)準確快速的交通指揮調度,達到充分利用現(xiàn)有的道路資源,提高突發(fā)交通事故的處理能力,從而為人們的出行提供快捷舒適的交通服務。
社區(qū)物業(yè)管理:住宅小區(qū)、辦公室的安全防范、智能大廈、停車場的無人監(jiān)控等。
家庭應用
只需在現(xiàn)有的家庭微機上增加USB攝像頭和相應的軟件系統(tǒng),就可實現(xiàn)功能強、價格低、性能可靠的數(shù)字化家庭監(jiān)控系統(tǒng)。系統(tǒng)自動檢測在家中采集到的圖像,當發(fā)現(xiàn)異常時,通過Internet和短消息中心向用戶指定的電話號碼發(fā)送短消息,并將現(xiàn)場圖像以Email方式發(fā)送給用戶。用戶收到短消息后通過檢查Email就可對家中情況有清楚的了解。此外,用戶出差在外時,也可以遠程登錄到家中計算機,觀看家中安全情況或家人的生活健康狀況。
智能監(jiān)控技術
雖然目前監(jiān)控攝像機在商業(yè)應用中己經(jīng)普遍存在,但并沒有充分發(fā)揮其實時主動的監(jiān)督作用,因為它們通常是將攝像機的輸出結果記錄下來,當異常情況(如停車場中的車輛被盜)發(fā)生后,保安人員才通過一記錄的結果觀察發(fā)生的事實,但往往為時已晚。而我們需要的監(jiān)控系統(tǒng)應能夠每天連續(xù)24小時的實時智能監(jiān)視,并自動分析攝像機捕捉的圖像數(shù)據(jù),當異常發(fā)生時,系統(tǒng)能向保衛(wèi)人員準確及時地發(fā)出警報,從而避免犯罪的發(fā)生,同時也減少雇傭大批監(jiān)視人員所需要的人力、物力和財力的投入。
智能視覺監(jiān)控就是要用計算機視覺的方法,在不需要人為干預的情況下,通過對攝像機拍錄的圖像序列進行自動分析,實現(xiàn)對動態(tài)場景中目標的定位、識別和跟蹤,并在此基礎上分析和判斷目標的行為,從而做到既能完成日常管理又能在異常情況發(fā)生的時候及時做出反應。
智能監(jiān)控系統(tǒng)的需求主要來自那些對安全要求敏感的場合,如銀行、商店、停車場等。另外,智能監(jiān)控系統(tǒng)在自動售貨機、ATM機、交通管理、公共場所行人的擁擠狀態(tài)分析及商店中消費者流量統(tǒng)計等方面也有著相應的應用。
智能監(jiān)控技術研究內容
智能監(jiān)控系統(tǒng)——手機視頻監(jiān)控報警系統(tǒng)是安防進入民用化領域的一套智能系統(tǒng),該系統(tǒng)集成了手機監(jiān)控與手機防盜報警兩大系統(tǒng) ,當有非法人員闖入禁區(qū)防區(qū)或者火災煤氣泄漏等緊急情況時,系統(tǒng)主機會第一時間給指定用戶撥打電話及發(fā)送短信或email!用戶收到電話短信時可以第一時間用手機或者電腦查看監(jiān)控區(qū)域的畫面。消除了傳統(tǒng)監(jiān)控系統(tǒng)馬后炮及傳統(tǒng)報警系統(tǒng)誤報出警的顧慮!該系統(tǒng)集成了無線門磁、無線煙感等無線報警配件信息,有效的提高了監(jiān)控系統(tǒng)民用化的特性。深圳市凱特科技有限公司是專業(yè)從事手機視頻監(jiān)控產品,該產品的配套手機軟件即凱特守護神能與視頻監(jiān)控及家庭報警聯(lián)動至手機短信或電話中。該產品也是一款智能家居安防監(jiān)控防盜系統(tǒng):該系統(tǒng)系網(wǎng)絡但無需電腦即可獨立完成!本地存儲器24小時錄像,異地可通過上網(wǎng)手機或電腦可觀看及操作家中所有監(jiān)控畫面。系統(tǒng)自帶無線報警模塊,可匹配無線門磁、探頭、煙感器等無線報警觸發(fā)設備,當有人闖入監(jiān)控防區(qū),系統(tǒng)會自動打電話、發(fā)短信、郵件給指定的4位手機用戶,同時本地會產生聲光警笛。遠程用戶收到警情電話、信息后可以通過上網(wǎng)手機或電腦查看監(jiān)控畫面情況,并通過手機控制攝像機旋轉角度及焦距、報警系統(tǒng)布防撤防,同時啟動手機錄像功能并處理警情。
環(huán)境建模
要進行場景的視覺監(jiān)控,環(huán)境模型的動態(tài)創(chuàng)建和更新是必不可少的。在攝像機靜止的條件下,環(huán)境建模的工作是從一個動態(tài)圖像序列中獲取并自動更新背景模型。其中最為關鍵的問題在于怎樣消除場景中的各種干擾因素,如光照變化、陰影、搖動的窗簾、閃爍的屏幕、緩慢移動的人體以及新加入的或被移走的物體等的影響。
運動檢測
運動檢測的目的是從序列圖像中將變化區(qū)域從背景圖像中提取出來。運動區(qū)域的有效分割對于目標分類、跟蹤和行為理解等后期處理是非常重要的,因為以后的處理過程僅僅考慮圖像中對應于運動區(qū)域的像素。然而,由于背景圖像的動態(tài)變化,如天氣、光照、影子及混亂干擾等的影響,使得運動檢測成為一項相當困難的工作。
目標分類
對于人體監(jiān)控系統(tǒng)而言,在得到了運動區(qū)域的信息之后,下面一個重要的問題就是如何將人體目標從所有運動目標中分類出來。不同的運動區(qū)域可能對應于不同的運動目標,比如一個室外監(jiān)控攝像機所捕捉的序列圖像中除了有人以外,還可能包含寵物、車輛、飛鳥、搖動的植物等運動物體。為了便于進一步對行人進行跟蹤和行為分析,運動目標的正確分類是完全必要的。但是,在已經(jīng)知道場景中僅僅存在人的運動時(比如在室內環(huán)境下),這個步驟就不是必需的了。
人體跟蹤
人體的跟蹤可以有兩種含義,一種是在二維圖像坐標系下的跟蹤,一種是在三維空間坐標系下的跟蹤。前者是指在二維圖像中,建立運動區(qū)域和運動人體(或人體的某部分)的對應關系,并在一個連續(xù)的圖像序列中維持這個對應關系。從運動檢測得到的一般是人的投影,要進行跟蹤首先要給需要跟蹤的對象建立一個模型。對象模型可以是整個人體,這時形狀、顏色、位置、速度、步態(tài)等等都是可以利用的信息;也可以是人體的一部分如上臂、頭部或手掌等,這時需要對這些部分單獨進行建模。建模之后,將運動檢測到的投影匹配到這個模型上去。一旦匹配工作完成,我們就得到了最終有用的人體信息,跟蹤過程也就完成了。
多攝像機數(shù)據(jù)融合
采用多個攝像機可以增加視頻監(jiān)控系統(tǒng)的視野和功能。由于不同類型攝像機的功能和適用場合不一樣,常常需要把多種攝像機的數(shù)據(jù)融合在一起。在需要恢復三維信息和立體視覺的場合,也需要將多個攝像機的圖像進行綜合處理。此外,多個攝像機也有利于解決遮擋問題。
行為理解和描述
事件檢測、行為的理解和描述屬于智能監(jiān)控高層次的內容。它主要是對人的運動模式進行分析和識別,并用自然語言等加以描述。相比而言,以前大多數(shù)的研究都集中在運動檢測和人的跟蹤等底層視覺問題上,這方面的研究較少。近年來關于這方面的研究越來越多,逐漸成為熱點之一。
國內外研究現(xiàn)狀
智能監(jiān)控具有廣泛的應用前景和潛在的經(jīng)濟價值,從而激發(fā)了世界上廣大科研工作者及相關人士的濃厚興趣,尤其在美國、英國等國家已經(jīng)開展了大量相關項目的研究。例如,1997年美國國防高級研究項目署(DefenseAdvancedResearchProjeCtSAgency)設立了視覺監(jiān)控重大項目VSAM主要研究用于戰(zhàn)場及普通民用場景進行監(jiān)控的自動視頻理解技術。實時視覺監(jiān)控系統(tǒng)不僅能夠定位人和分割出人的身體部分,而且通過建立外觀模型來實現(xiàn)多人的跟蹤,并可以檢測人是否攜帶物體等簡單行為。英國的雷丁大學(UniversityofReading)己開展了對車輛和行人的跟蹤及其交互作用識別的相關研究;國際上很多權威期刊將智能監(jiān)控中人的運動分析研究作為主題內容之一,為該領域的研究人員提供了更多的交流機會。
在我國,這方面的研究近幾年才開展起來的。中國科學院自動化研究所模式識別國家重點實驗室己經(jīng)成立智能視覺監(jiān)控研究組,開展這方面的研究,目標是實現(xiàn)一個動態(tài)場景集成分析演示系統(tǒng)并最終推向實用。第一屆全國智能視覺監(jiān)控學術會議于2002年5月25一26日在北京市西郊賓館成功舉行。國內有一些視頻監(jiān)控方面的產品,如Anychat、黃金眼、行者貓王等,應用于交通控制,監(jiān)獄管理等方面。另外,國內產品還有數(shù)字硬盤錄像系統(tǒng)(DVR),將監(jiān)控區(qū)域內有運動對象出現(xiàn)的情況錄制下來,以備查詢,該系統(tǒng)只是簡單的檢測出有無運動對象,而沒有對運動對象做任何分析。
由于國內的研究起步較晚,技術還不夠完善,開發(fā)出的產品距離智能化還有一定差距,在實際的應用中,受到很多限制,還有待于進一步的完善。
研究難點
盡管在智能監(jiān)控領域已經(jīng)取得了一定的進展,但是在以下幾個方面仍是今后研究的難點問題。
運動分割
快速準確的運動分割是個相當重要又是比較困難的一個問題。這是由于動態(tài)環(huán)境中捕捉的圖像受到多方面的影像,比如天氣的變化,光照條件的變化,背景的混亂干擾,運動目標的影子,物體之間或者物體與環(huán)境之間的遮擋,以及攝像機的運動等。這些都給準確有效的運動分割帶來了困難,以運動目標的影子為例,他可能與被檢測目標的相連,也可能與目標分離,在前者情況下,影子扭曲了目標的形狀,從而使得以后基于形狀和基于狀態(tài)空間模型的方法定義每個靜態(tài)姿勢作為一個狀態(tài),這些狀態(tài)之間通過的識別方法不再可靠;在后者情況下,影子有可能被誤認為為場景中一個完全錯誤的目標。盡管目前圖像運動分割主要利用背景減除方法,但如何建立對于任何具有自適應性的復雜環(huán)境中動態(tài)變化的背景模型仍是相當困難的問題。一個可喜的發(fā)展是,一些研究者們正利用時空統(tǒng)計的方法構建自適應的背景模型,這對于不受限環(huán)境中的運動分割而言是個更好的選擇。
遮擋處理
目前,大部分智能監(jiān)控系統(tǒng)都不能很好地解決目標之間互遮擋和人體自遮擋問題,尤其是在擁擠狀態(tài)下,多人的檢測和跟蹤問題更是難處理。遮擋時,人體只有部分是可見的,而且這個過程一般是隨機的,簡單依賴于背景減除進行運動分割的技術此時將不再可靠,為了減少遮擋或深度所帶來的歧義性問題,必須開發(fā)更好的模型來處理遮擋時特征與身體各部分之間的準確對應問題。另外,一般系統(tǒng)也不能完成何時停止和重新開始身體部分的跟蹤,即遮擋前后的跟蹤初始化缺少自舉方法。當然,可喜的進步是利用統(tǒng)計方法從可獲得的圖像信息中進行人體姿勢、位置等的預測;不過,對于解決遮擋問題最有實際意義的潛在方法應該是基于多攝像機的跟蹤系統(tǒng)。
三維建模與跟蹤
二維方法在早期智能監(jiān)控系統(tǒng)中證明是很成功的,尤其對于那些不需要精確的姿勢恢復或低圖像分辨率的應用場合(如交通監(jiān)控中的行人跟蹤)。二維跟蹤有著簡單快速的優(yōu)點,主要的缺點是受攝像機角度的限制。而三維方法在不受限的復雜的人的運動判斷(如人的徘徊、握手與跳舞等)、更加準確的物理空間的表達、遮擋的準確預測和處理等方面的優(yōu)點是用于行為識別;同時,三維恢復對于虛擬現(xiàn)實中的應用也是必需的。目前基于視覺的三維跟蹤研究仍相當有限,三維姿勢恢復的實例亦很少,且大部分系統(tǒng)由于要求魯棒性而引入了簡化的約束條件。三維跟蹤也導致了從圖像中人體模型的獲取、遮擋處理、人體參數(shù)化建模、攝像機的標定等一系列難題。以建模為例,人體模型通常使用許多形狀參數(shù)所表達。然而,目前的模型很少利用了關節(jié)的角度約束和人體部分的動態(tài)特性;而且過去的一些工作幾乎都假設3 D模型依據(jù)先驗條件而提前被指定,實際上這些形狀參數(shù)應當從圖像中估計出來??傊?,3 D建模與跟蹤在未來工作中應值得更多的關注。
攝像機的使用
使用單一攝像機的三維人的跟蹤研究還很缺乏,身體姿勢和運動在單一視角下由于遮擋或深度影響而容易產生歧義現(xiàn)象,因此使用多攝像機進行三維姿勢跟蹤和恢復的優(yōu)點是很明顯的。同時,多攝像機的使用不僅可以擴大監(jiān)視的有效范圍,而且可以提供多個不同的方向視角以用于解決遮擋問題。很明顯,未來的智能監(jiān)控系統(tǒng)將極大受益于多攝像機的使用。對于多攝像機跟蹤系統(tǒng)而言,我們需要確定在每個時刻使用哪一個攝像機或哪一幅圖像。也就是說,多攝像機之間的選擇和信息融合是一個比較重要的問題。
性能評估
一般而言,魯棒性、準確度、速度是智能監(jiān)控系統(tǒng)的三個基本要求。例如,系統(tǒng)的魯棒性對于監(jiān)控應用特別重要,這是因為它們通常被要求是自動、連續(xù)地工作,因此這些系統(tǒng)對于如噪聲、光照、天氣等因素的影響不能太敏感;系統(tǒng)的準確度對于控制應用特別重要,例如基于行為或姿勢識別的接口控制場合;而系統(tǒng)的處理速度對于那些需要實時高速的監(jiān)控系統(tǒng)而言更是非常關鍵。因此,如何選擇有效的工作方案來提高系統(tǒng)性能、降低計算代價是個特別值得考慮的問題。同時,如何利用來自不同用戶、不同環(huán)境、不同實驗條件的大量數(shù)據(jù)測試系統(tǒng)的實時性、魯棒性亦相當重要。
發(fā)展趨勢
隨著智能監(jiān)控中對人的運動分析研究和其它相關技術的發(fā)展,下述幾個方面己經(jīng)成為未來的發(fā)展趨勢:
音頻與視覺相結合的多模態(tài)接口
人的相互交流主要是依據(jù)語言,過去的許多工作是語音理解,但語音識別受距離和環(huán)境噪聲的限制,尤其在機場等高噪聲環(huán)境,將會嚴重影響語音識別的性能。人的可視化描述與語音解釋一樣重要,研究者們正逐漸將語音與視覺信息集成起來以產生更加自然的高級接口。當前一些接口系統(tǒng)在視覺方面僅僅做了如臉的表情、身體姿勢等的大尺度分析,但還不能分析大多數(shù)人的正常姿勢,這意味著人機之間的通訊僅局限于幾個特定的姿勢,這個局限是人的姿勢結構的不易理解造成的,而且跟蹤多人的系統(tǒng)由于來自攝像機的分辨率、計算機處理能力和視角的影響而不能準確的估計身體姿勢。為了完成優(yōu)化尺度和廣域的分析,可以尋求準確實時的多攝像機的信息融合方法,以便機器更好地理解人的通信行為。目前音頻和視頻的信號處理相對獨立,如何更好地集成音頻和視頻信息用于多模態(tài)用戶接口是一個嚴峻的挑戰(zhàn)。
人的運動分析與生物特征識別相結合
在智能房間的門禁系統(tǒng)、軍事安全基地的視覺監(jiān)控系統(tǒng)、高級人機交互等應用中,人的運動分析與生物特征識別相結合的研究日益顯得重要。在人機交互中不僅需要機器能知道人是否存在、人的位置和行為,而且還需要利用特征識別技術來識別與其交流的人是誰。目前的研究主要集中在人的臉像識別、步態(tài)識別或特定行為的識別。近距離時一般可以通過跟蹤人臉來加以身份識別;如果是遠距離的監(jiān)控,臉的特征可能被隱藏,或者分辨率太低不易識別,然而進入監(jiān)控領域的人的運動步態(tài)是可見的,這激活了步態(tài)作為一個獨特的生物行為特征應用于人的身份鑒別。由于人的步態(tài)具有易于感知、非侵犯性、難于偽裝等優(yōu)點,近來己引起了計算機視覺研究者們濃厚的研究興趣。
行為理解與描述高層處理的轉變
人的行為理解是需要引起高度注意并且是最具挑戰(zhàn)的研究方向,因為觀察人的最終目標就是分析和理解人的個人行為、人與人之間及人與其它目標的交互行為等。目前人的運動理解還是集中于人的跟蹤、標準姿勢識別、簡單行為識別等問題,如人的一組最通常的行為(跑、蹲、站、跳、爬、指等)的定義和分類。近年來利用機器學習工具構建人行為的統(tǒng)計模型的研究有了一定的進展,但行為識別仍舊處于初級階段,連續(xù)特征的典型匹配過程中常引入人運動模型的簡化約束條件來減少歧義性,而這些限制與一般的圖像條件卻是不吻合的,因此行為理解的難點仍是在于特征選擇和機器學習。目前,用于行為識別的狀態(tài)空間方法和模板匹配方法通常在計算代價和運動識別的準確度之間進行折中,故仍需要尋找和8開發(fā)新的技術以利于提高行為識別性能的同時,又能有效地降低計算的復雜度。另外,如何借助于先進的視覺算法和人工智能等領域的成果,將現(xiàn)有的簡單的行為識別與語義理解推廣到更為復雜場景下的自然語言描述,是將計算機視覺低、中層次的處理推向高層抽象思維的關鍵問題。
現(xiàn)在越來越多的視頻被記錄下來,但由于時間的關系,這些視頻信息很少會被完整的分析。在這種情況下,智能視頻(Intelligent Video,IV)應用程序由此發(fā)展起來。新的智能視頻(IV)系統(tǒng) 可獲取車牌的視頻圖像并將此信息數(shù)字化,然后與數(shù)據(jù)庫中的內容進行交叉比對。人數(shù)統(tǒng)計和絆網(wǎng)則是智能視頻(IV)應用的另一些實例。
由于在前端設備中提供了此類智能功能,可直接對原始數(shù)據(jù)進行分析,并減少工作人員的工作量。智能網(wǎng)絡攝像機永遠不會空閑,他始終出于警戒狀態(tài),等待一個動作的觸發(fā)來啟動錄像。移動偵測功能可用于特定的警報設置,以適應各種不同的特殊環(huán)境和事件強度。
智能視頻將原始視頻數(shù)據(jù)變成可操作的信息。監(jiān)控系統(tǒng)提供的智能信息可支持決策者在緊急情況下作出高質量的決策。而類似人數(shù)統(tǒng)計等新的商業(yè)機會將會出現(xiàn)。
智能交通監(jiān)控
1、車流總量(輛/小時):由用戶設定的時間間隔內檢測到車輛數(shù)量。
2、車輛速度(公里/小時):時間間隔內的平均速度。超過和低于用戶設閥值速度的車輛速度。
3、車間距(米):相鄰車輛之間的距離。
4、車輛密度:偵測監(jiān)控視場內車輛的擁護程度。
5、排隊:可檢測車輛的排隊長度。
6、逆向行駛:反方向行駛的車輛。
7、跨線行駛的車輛:不按標線行駛的車輛。
8、違章停車:在非法停車處停車的車輛。
9、跨線行駛的車輛:不按標線行駛的車輛。
10、車牌識別:對違法車輛進行車牌抓拍。
優(yōu)勢
IV應用程序的智能實際上是對視頻圖像的一種數(shù)學分析算法,及其對分析后所產生的數(shù)據(jù)結果的應用。該功能所帶來的優(yōu)勢包括:
降低帶寬占用率
當智能視頻應用集成到網(wǎng)絡視頻設備后,只需要在網(wǎng)絡上傳輸更少的數(shù)據(jù)便可以達到與原來同樣的效果。
提高人力資源利用
智能系統(tǒng)帶來更高的工作精度和更少的誤報警,提高發(fā)現(xiàn)威脅安全事件先兆的識別率。
更好的決策支持,同時提供音頻和視頻的分析。例如,玻璃破碎的聲音,一旦您在系統(tǒng)中預定義該聲音需要得到重視,那么該聲音會觸發(fā)PTZ網(wǎng)絡攝像機自動轉向到事發(fā)地點。
國際智能監(jiān)控發(fā)展態(tài)勢
世界監(jiān)控市場發(fā)展史不到30年,從技術層面上分全模擬、模擬-數(shù)字、準數(shù)字、全數(shù)字、高清與視頻分析(智能化)等五個時代發(fā)展進程,國內現(xiàn)存監(jiān)控大部分處于第二代、第三代的狀況。部分能夠達到國際先進水平,得益于海外華人不斷把國際先進監(jiān)控技術的發(fā)展信息與國內監(jiān)控專業(yè)技術人員的潛心研究緊密結合。
第五代智能化監(jiān)控技術迅速上市,得益于知識經(jīng)濟時代,得益于世界反恐、政治安寧、人民生活水平提高等發(fā)展因素和需求。2003年—2004年國際上出現(xiàn)了具有初級智能分析和處理的監(jiān)控系統(tǒng),2007—2008年,中、美、日、以等國家?guī)缀跬缴鲜谐墒斓闹悄堋⒏咔孱惐O(jiān)控,服務于部隊、交通、銀行等重要機構的監(jiān)控需求。
第五代智能化監(jiān)控技術的核心在于視頻分析編碼算法,中外合璧的全球鷹科技人員充分吸收了背景減除方法、時間差分方法等編碼算法的優(yōu)點,將計算機視覺與人工智能的研究深入到實用領域,使GE技術具有超大的數(shù)字化、網(wǎng)絡化、智能化、系統(tǒng)化及超大規(guī)模組網(wǎng)能力,可以判斷幾乎任何類型的人類活動,還能解決以往依靠其他探測技術無法解決的問題。
GE技術完全兼容目前的模擬監(jiān)控和數(shù)字監(jiān)控,達到國際監(jiān)控領先水平。在不改變現(xiàn)有監(jiān)控系統(tǒng)的情況下,通過GE核心技術、核心設備和軟件編程,讓客戶監(jiān)控變成智能(如圖像高清、視頻分析和處理、超大信息容量和快速調取圖像等性能),自動地達到各種報警功能的聯(lián)動管理(包括手機短信、直撥、視頻聯(lián)機等),享受多元智能、人機交互的幸福生活。