前沿生物視覺技術(shù)在安防領(lǐng)域的應用

　　六、前沿生物視覺技術(shù)在安防領(lǐng)域的應用

　　接下來我給大家分享一些在安防領(lǐng)域里面落地的前沿且有趣的技術(shù)。

　　大自然是一個非常豐富的知識庫，我們可以從里面學到很多知識。計算機視覺是關(guān)于“視覺”的，所以我們來關(guān)注一下人的眼睛以及動物的眼睛。

　　從眼睛模型中我們可以看到它有個“快門”，也就是所謂的瞳孔，“鏡頭”是我們眼睛的晶狀體，“傳感器”則是眼球里面的視網(wǎng)膜。

　　其實人的眼球跟數(shù)碼相機本質(zhì)上沒有特別大的差別，但相機實際上已發(fā)明100多年，今天我們的相機無論是很貴的數(shù)碼單反還是iPhone上的相機，它其實和1839年發(fā)明的第一臺相機在成像原理上沒有本質(zhì)的不同。不過是通過小孔成像原理，把真實的物體通過倒影呈現(xiàn)在背景的傳感器上。這么多年唯一發(fā)生變化的就是鏡頭變得越來越好了，傳感器變得越來越好了。但是在這個過程中呢，成像的基本原理還只是一個投影問題。

　　1、怎樣解決三維變二維時丟失的距離信息

　　我們的世界是一個三維世界，每一個物體都是三維的，它投影的結(jié)果是在一個平面上，無論它是相機底片平面，還是眼球的球面。最終還是變成了一個兩維的數(shù)據(jù)，在這個過程中三維壓縮到兩維，丟失了什么嗎?丟失的是深度信息，也就是縱深方向距離的信息。

　　我再給大家舉個例子，比如幾輛汽車放在一起，與此同時有一輛玩具車被一個人拿在手里，如果不是因為照片里的手指，很多人都誤以為這就是停車場上的一輛真車。你可以看到圖像里物體真實的大小不代表它的實際大小。最近這輛紅色的跑車其實是很小的，可是遠處一輛在樹背后的車看上去很小，但實際上真實車的尺寸比較大。一個物體在圖像中的尺寸跟他的真實尺度不一定有什么關(guān)系，當你失去了尺度，就沒辦法衡量尺寸、距離、速度、加速度。這種情況下，我們?nèi)シ治鑫矬w的行為就有了很大的問題。

　　我們再來看一個自然界的現(xiàn)象，這里顯示了一些動物照片，這些動物都有共同特點：都有兩個眼睛。而且兩個眼睛都有比較大的視場角重疊，大家有沒有意識到所有捕食動物的眼睛都朝前長的，所以他們兩個眼睛的視野重疊比較大，重疊最大的好處是可通過兩個眼睛對圖像的視差的分析，能夠計算出這個目標的深度，有了深度以后就可以去追捕他。

　　而所有被捕食的動物，比如羊、駱駝、馬的眼睛都長到了側(cè)面，然后形成了一個360度的全景。它最大的優(yōu)勢就是可以更有效地去防范周圍的捕食者，它可一邊吃草，一邊看腦袋后面有沒有捕食者在靠近。

　　其實在計算機視覺領(lǐng)域，就有很多技術(shù)可以利用多視場能夠計算出來物體的深度。

　　格靈深瞳根據(jù)這種原理推出一款名為皓目行為分析儀的產(chǎn)品，皓目行為分析儀用一種結(jié)構(gòu)光的方式生成Depth Video，然后基于數(shù)據(jù)去分析人的行為。

　　我給大家看一個簡單的展示，在這個展示里面有很多人在相機跟前走動，他們之間產(chǎn)生了很多遮擋。

　　但是即使在遮擋發(fā)生的情況下，我們?nèi)匀豢梢院芎玫匕衙恳粋€人跟蹤下來，給每個人腰上套了一個圈，這個圈有不同的顏色，畫面的左下角是一個俯視的雷達圖，雷達圖上方代表相機，下方代表它視野，然后每一個點它的顏色和視頻里這個人腰圈的顏色是對應的，所以你可以看到每一個人的軌跡。通過這種方式就可在一個比較復雜的場所分析人們軌跡的行為。

　　比如說有沒有人在追逐、停留很久、徘徊，我們也可以分析人是不是摔倒了，有沒有劇烈動作等等。

　　如果要分析劇烈動作，需要對他身體的姿態(tài)動作做一個更深入地分析。在這里面我們開發(fā)了一套算法，能夠從圖像里把他的關(guān)節(jié)、胳膊、腿的位置計算出來。大家可能會意識到類似的功能在微軟或者Primesense等公司的人機交互產(chǎn)品里面實現(xiàn)過。

　　格靈深瞳則是開發(fā)了一套專門針對于安防監(jiān)控的識別算法，不同的地方是它可以在監(jiān)控視角，快速實現(xiàn)初始化比較好的工作。

　　2、昆蟲復眼原理給光場相機的啟發(fā)

　　此時有人會有質(zhì)疑，不是所有的動物都有兩只眼睛，昆蟲就不是，昆蟲的眼睛叫復眼，有幾千個鏡頭。

　　這是怎么回事呢?這組照片上顯示了很多昆蟲的眼睛，你一眼看上去的確是看到了復眼，但即使是復眼，它們也有個共同點，第一是它們有一對復眼，第二個是他們的眼睛針對他們的頭部來說很大。

　　為什么要長這么大的眼睛呢?作為相機來說，它的感光量是很重要的指標。如果感光量不夠多、不夠大，很難形成清晰的照片，因為形成照片需要光子跟傳感器發(fā)生能量的交換。能量的交換要能夠被測量下來才能形成對顏色、亮度的識別，這就是為什么好的相機比如說單反相機它有很大的光圈。

　　但是昆蟲身子的尺寸非常小，在這種情況下為了保障進光量，就要盡量大地增加光圈的尺寸，所以這就是昆蟲的眼睛為什么這么大。

　　第二件事情就是為什么昆蟲的每個眼睛變成了復眼?如果你要給昆蟲用傳統(tǒng)的光學模式設(shè)計眼睛，你會面臨什么挑戰(zhàn)?假設(shè)你是蜜蜂，在你的生活中要不斷去尋找鮮花采蜜，有的時候你要看到幾十里外的目標，然后飛過去?？墒钱斈阍诓擅鄣臅r候站在花瓣上要能夠看到花粉在哪個花蕊上，然后去收集它。

　　也就是說，你要既可以看到很遠的物體，又能夠看到很近的物體。在這種情況下，它對變焦鏡頭的變焦動態(tài)范圍要求非常高。普通鏡頭很難做到在這樣一個范圍內(nèi)去變焦，尤其鏡頭體積還有大量的限制，這就是為何昆蟲在自然界中自然進化出了這種形態(tài)的眼睛。

　　今天我們把這種成像模式稱作Plenoptics，簡單來說就是一個鏡頭或者傳感器陣列。這種陣列的特點是能夠在一個平面上去接受更大的光場，然后把光分布，包括它的方向等信息捕捉下來。廣場是四維的、光學的Representation，獲得光場之后可通過算法把不同的成像方式的結(jié)果全部計算出來。今天這種技術(shù)已經(jīng)可用來做一些有趣的產(chǎn)品。

　　比如美國加州有一個公司，他們有一個基于光場原理的相機，你在拍照的時候可以直接拍。但是你回到家以后，可對這個照片做重新聚焦的修改，也就是先拍照片，然后再去定它的焦距。

　　我們今天會發(fā)現(xiàn)，如果想要實現(xiàn)一個非常大的、動態(tài)的變焦范圍，最有效的方式就是來做光場相機。而昆蟲的復眼就是非常精確的光場相機，這是一個非常奇妙的現(xiàn)象。

　　接下來，我們來看一個例子，在這個例子是討論人臉識別的。

　　在這個畫面的左上方是2013年4月15號在波士頓發(fā)生的馬拉松暴恐案，事件爆發(fā)以后警方得到了這張照片，很顯然這張照片是從一個監(jiān)控的攝像頭上拍攝的。在這張照片里，兩個嫌疑人離鏡頭都不算太遠，前面這個人可能離鏡頭有兩、三米，后面那個人大概五、六米。但我們發(fā)現(xiàn)在這么近距離的情況下兩人的面部是看不清楚的。

　　后來美國警方使用眾包的方法來尋找線索，把這張照片在電視臺上滾動播出，大概在36個小時以內(nèi)有很多馬拉松觀眾用自己的相機拍了很多照片，這些照片里面正巧有幾張拍到了嫌疑犯。在畫面右上方和左下方就是游客后來提供給警方的照片。其中左下方這張照片幫了很大的忙，因為這兩張照片是兩個嫌疑人，肩并肩站在一起并且正面對著鏡頭。

　　根據(jù)這張照片兩人成功被舉報，右下方3張照片是這兩個人的生活照，根據(jù)這個線索，這兩個人最終被抓住了。

　　在這個過程中，我們發(fā)現(xiàn)這么一個現(xiàn)象。今天大多數(shù)人臉識別還是卡口式的人臉識別，比如我把這個東西裝在地鐵的出口，商場入口等等，因為人們必須從這些地方經(jīng)過，你就不得不被相機看到。但事實上，假設(shè)你是一個犯罪分子，如果你看到了一個相機離你這么近，那就可能不從這兒過了，或者你頭會故意低下來，讓相機看不到臉。

　　其實人臉識別的應用必須發(fā)生在人完全不配合的場景中，他完全注意不到附近有一個攝像頭。當他不知道附近有攝像頭時，那他被抓拍的幾率就很高。所以格靈深瞳開發(fā)的人眼相機產(chǎn)品主要是為了實現(xiàn)這個目標，我們現(xiàn)在識別的距離可以達到50。我們自己做過一個實驗，當你站在一個地方，然后你要想確保你周圍50米內(nèi)都沒有一個攝像頭的話，這是比較難的一件事，因為空間比較大。

　　3、人眼原理給相機的啟發(fā)

　　這是辦公室停車場的一個案例，當格靈深瞳的人眼相機對接到了我們的動態(tài)人臉識別引擎上來，面部就會被抓取到。

　　最遠的可能50米，一部分為二三十米，然后他們的面部就和員工照片庫進行實時的比對。

　　人眼相機的原理其實和哺乳動物的眼球工作原理非常相似，人用裸眼看這個世界時是可以看得比較遠，我自己在開車時發(fā)現(xiàn)一個非常特殊的現(xiàn)象，我大概可以發(fā)現(xiàn)我至少可以看到前方大概30米到50米的車牌號碼?？墒钱斘野惭b了一個行車記錄儀時，我發(fā)現(xiàn)我把視頻調(diào)出來看，當前面的車離我的距離超過八米到十米時，我就看不清這個畫面里的車牌號碼。

　　那這意味著什么?人眼的分辨率真比高清攝像頭高很多嗎?其實并不是的，只是我們的人眼的視網(wǎng)膜里有一個特殊的區(qū)域，叫黃斑。

　　黃斑非常小，尺寸有多大呢?如果你把眼球的中心跟黃斑連接起來，那么這個椎體的角度只有2.5度左右，但在這么小的一個地方，集中了人眼75%的有效像素，剩下25%的像素分散在整個160度的視場角上。一個人的單眼視場角是160度，通過一個視場角很廣但分辨率不高的一個注意力檢測系統(tǒng)和一個視場角很小但分辨率很高的黃斑系統(tǒng)共同工作，實現(xiàn)對世界的觀察。

　　我們讀書不斷地掃描每一行文字，我們開車時眼球的注意力也在不同的目標上切換，這就是眼睛工作的原理。人眼還有一個重要特點，它的光學系統(tǒng)和它的識別系統(tǒng)緊密地結(jié)合在一起，并且相互反饋。在一個瞬間我們的余光注意到一個物體，如果我們認為它重要的話，大腦就會指揮眼球轉(zhuǎn)動，把我們的黃斑會迅速聚焦在物體上面。

　　這種反饋使得眼睛非常的靈敏，人眼相機就是實現(xiàn)了光學系統(tǒng)和人的檢測，以及人臉識別系統(tǒng)接對接和反饋。從大自然的角度來講，我們發(fā)明了一個工作方式與人類眼睛一致的設(shè)備。