提升檢測可靠性是關鍵
從實際應用效果來看,目前較為成熟的視頻分析處理技術包括邊界防范、移動偵測、文字(車牌)識別等,應用領域多集中在交通監(jiān)控管理、家居布防,以及銀行、監(jiān)獄等安全級別較高的場所。伴隨著近年來物聯(lián)網、智慧城市等建設項目在國內的蓬勃開展,監(jiān)控系統(tǒng)正進入到一個海量數據時代,要提高視頻資源的利用率和商業(yè)價值,就必須運用更先進的智能視頻分析技術進行深入的視頻數據挖掘、檢測和管理。包括交通管理部門對車牌識別和車輛運動形態(tài)的分析;汽車車身對前方物體(人或其它)的標示和距離判斷;重要區(qū)域場所對人臉識別的身份認證等等,無論是傳統(tǒng)的安全防范單位,還是商業(yè)化應用場所,都對智能視頻分析技術產生了大量的需求。
ADI 公司技術市場經理張鐵虎認為,目前智能視頻分析方案的開發(fā)已經取得了很大進展,但由于其自身研究內容的復雜性,使得研究方法和工具多樣,算法復雜度高,適用范圍有限,沒有魯棒性、準確度、速度都符合需求的普遍方法。同時,他還指出:“視頻監(jiān)控系統(tǒng)的網絡化和分布式處理的要求,以及大規(guī)模工程安裝對成本、體積和功耗的限制,使得運算能力和帶寬都在不斷提高的嵌入式處理器成為了視頻監(jiān)控系統(tǒng)的主流選擇。在這一趨勢下,現(xiàn)階段智能視頻分析技術的開發(fā)重點是算法水平的提高,降低誤判率,借助更高性價比的處理器平臺,固化算法到硬件加速器,留出處理器MIPS給更靈活的軟件作運算,從而提升智能視頻分析處理的可靠性和實用性。”
在智能視頻分析方案上,ADI采用的Blackfin處理器是ADI與INTEL聯(lián)合研制的會聚式處理器,它的 MSA(Micro Signal Architecture)架構兼具MCU的控制能力和DSP的高速運算能力,MCU和DSP被融入同一個內核,只需要同一套開發(fā)工具和同一套指令集,具有軟硬件實現(xiàn)簡單的優(yōu)勢。針對視頻數據自身的特性,Blackfin的4個視頻算術運算單元和視頻象素指令集大大加速了視頻運算速度,一條視頻象素操作指令可以在一周期之內完成4對視頻數據分量的加法、減法、加減混合運算、取平均值,或者相減并求絕對值等11種視頻象素運算。這些運算在編解碼算法中的運動估計、環(huán)形濾波器和智能視頻分析的各種算法中被大量應用。而在智能視頻分析的一些基礎算子中,如直方圖統(tǒng)計、中值運算、Sobel運算、形態(tài)學中的膨脹運算等,都可利用Blackfin的MIN、MAX指令來消除條件跳轉,節(jié)省處理器周期。不僅如此,Blackfin還支持13種非視頻數據的向量運算,通過適當設計數據結構,在前背景分離、閾值計算和更新等多個環(huán)節(jié)都可運用Blackfin的特色指令讓智能視頻分析算法更為迅捷。
此外,值得關注的是,中國第一個智能視頻分析方面的國家標準GB/T30147-2013《安防監(jiān)控視頻實時智能分析設備技術要求》已正式實施。該標準規(guī)定了安防監(jiān)控視頻實時智能分析設備的功能、性能、接口、電磁兼容性、環(huán)境適應性、試驗方法、檢驗規(guī)則等內容,是嵌入式視頻實時智能分析設備進行設計、生產、檢驗的依據,也將為智能監(jiān)控視頻分析技術的未來發(fā)展奠定基礎。
ARM平臺智能分析興起
一直以來,智能視頻分析處理一般都是基于后端平臺或是前端攝像機的DSP芯片架構之下,而現(xiàn)在,這一技術開發(fā)趨勢正朝著ARM硬件平臺的方向演進。作為華為海思公司在視頻圖像分析領域的核心合作伙伴,北京智芯原動科技有限公司有著安防行業(yè)智能視頻算法研發(fā)的豐富經驗,近年來,公司正式轉入到ARM平臺智能視頻分析算法的開發(fā)之中,對此,智芯原動副總經理王偉表示道:“ARM嵌入式系統(tǒng)的優(yōu)點是功耗低、設備方案的價格較便宜,隨著ARM嵌入式設備應用市場份額的逐年上升,整體產業(yè)鏈已基本成形,越來越多的安防廠商開始采用ARM處理器開發(fā)新型視頻監(jiān)控攝像機產品,這也正是我們選擇ARM平臺的原因所在。”
當然,要在單一ARM平臺上進行各種復雜的視頻分析運算,其難度可想而知。智能視頻分析要用到大量的CPU資源,但由于本身已經需要處理很多工作,這令到同一個ARM平臺往往難以為智能視頻算法提供足夠的運算空間,要想在ARM平臺上實現(xiàn)流暢、準確的視頻分析功能,實非易事。解決這一問題的辦法,仍然是對視頻分析算法的進一步優(yōu)化。
通過多年來對各種應用場景、運動模式在不同季節(jié)、不同地域、不同溫度環(huán)境下的視頻樣本收集與比對,智芯原動不斷完善對視頻分析算法的優(yōu)化,開發(fā)出一系列基于ARM平臺的智能視頻分析產品線,其中包括基礎功能和運動目標檢測(MOD)兩大類?;A功能又分為對視頻遮擋、相機移位等視頻信號的異常偵測,以及對戶外攝像機晃動進行圖像電子穩(wěn)像處理等。而在專業(yè)版的運動目標檢測中,搭配海思3516/3517 SOC平臺,系統(tǒng)內含周界入侵、單/雙警戒線穿越、徘徊報警、逆行檢測、多人徘徊、異常速度和非法停車等八大視頻分析算法,用戶可在不用任何設置的條件下快速使用上述多種功能。
提到智能視頻分析目前的技術開發(fā)重點,王偉表示,關鍵還是在于如何能夠降低對視頻畫面的干擾,提高系統(tǒng)分析識別的準確度。例如,在智能交通(ITS) 應用中,針對警用卡口環(huán)節(jié),智芯原動開發(fā)的方案全部視頻分析處理僅需一顆海思ARM處理器,并利用獨有的智能分析加速引擎,以提高運算速度;同時,系統(tǒng)將最高30幀/秒的虛擬線圈與車牌識別檢測相整合,并提供車牌亮度反饋、閉環(huán)控制攝像機的曝光,以降低成像品質對識別度的影響,有效保證了車牌識別的準確率和對無牌車輛的抓拍率。在停車場車位引導及反向尋車應用中,與傳統(tǒng)的超聲波方式不同,采用基于海思Hi3518/3516C設計的智能高清一體機可同步監(jiān)控2至3個車位,不但可識別車輛有無及車輛位置,而且還可以識別出車牌號碼,幫助車主反向尋車,實現(xiàn)高性價比的停車場內部管理。
另據透露,智芯原動與海思合作的新一代智能芯片Hi3516A將在今年年底的北京安防展上隆重推出,其基于ARM Cortex-A7處理器配合第二代智能分析協(xié)處理單元IVE2.0,提供車牌識別、周界防范、人臉識別等多達40種智能分析應用。
音頻分析與智能視頻相整合
除了專門針對視頻數據的分析處理之外,對于聲音的智能分析和處理也越來越受到人們的重視。過去,帶有拾音器的監(jiān)控攝像機只是通過接收到的音頻信號達到預先設定的閾值大小,來啟動報警模式;而如今,用戶希望能夠對聲音進行更為細化的判斷,從音頻信號中將危險特征提取出來,并且與視頻監(jiān)控相整合,提高系統(tǒng)的整體預警能力。
“如果說智能視頻分析是智能監(jiān)控的‘眼睛’的話,那么智能音頻分析就是智能監(jiān)控的‘耳朵’。”富昌電子(Future Electronics)有限公司業(yè)務拓展經理朱華剛說道。據介紹,富昌電子攜手NXP和Microsemi兩大原廠,綜合兩大原廠在視頻處理和聲音處理方面的豐富經驗和強大技術,即將推出基于NXP圖像處理芯片ASC88XX系列和Microsemi智能聲音處理芯片ZL3805X系列的高清網絡攝像機智能視頻聲音監(jiān)控整體解決方案。
朱華剛表示,該方案將Microsemi的智能聲音處理解決方案整合到NXP的高清網絡攝像機方案中,除了傳統(tǒng)的高清監(jiān)控之外,系統(tǒng)還能進行遠距離聲音監(jiān)控和特征識別,以及智能聲源的識別和定位。采用該技術的智能監(jiān)控系統(tǒng)能夠采集周圍環(huán)境的聲音,當發(fā)生突發(fā)事件時,該方案能夠識別分析聲音來源并實現(xiàn)方位確定,與攝像機主平臺整合后,攝像機可按需要自動轉換到聲音來源的方向和角度進行監(jiān)控。而在智能聲源的定位上,則是利用雙麥克模擬人的雙耳功能,根據聲音到達不同麥克之間的時間差效應,來實現(xiàn)音源定位。
在對聲音作分析識別的過程中,最大的難點來自于如何做好背景噪聲抑制,提高聲音特征提取的準確率。對此,富昌電子技術方案經理羅華平說道:“這些噪聲可能包括室內環(huán)境下風扇、空調發(fā)出的聲音,以及室外建筑工地攪拌機、馬路上汽車等所產生的噪音,系統(tǒng)的首要任務就是盡可能地降低上述噪聲所帶來的影響,從中準確地提取出玻璃破裂、小孩哭鬧等等危險聲音信號,并立即開啟攝像機監(jiān)控系統(tǒng)。”
目前,針對這一智能音視頻整合方案,富昌電子正與兩大原廠密切合作,根據不同應用領域的特定需求,建立起高效的背景建模以及目標提取模式,通過模型匹配識別,進行音源追蹤,即將聲音模擬的波形信號進行采樣、數字化,提取相關信息,然后與特征模型匹配識別,最終根據結果完成預定的應用。“智能音頻分析技術的下一步發(fā)展將著重于快速的多語言/多方言的語音識別、背景噪音或者無關聲音的過濾、基于云計算平臺的敏感字/詞/句的快速檢索和匹配等等,當然,這需要芯片、平臺、語音識別等產業(yè)鏈上的各廠家的共同努力,來改善整體智能系統(tǒng)的應用效果。”羅華平說。