在本屆大會上,商湯徐立博士和顏深根博士分別就深度視頻理解和工業(yè)級深度學習技術(shù)做了演講。商湯所展示的SensePose、SenseFace、SenseVideo、SensePhoto、SenseAR等解決方案,充分詮釋了其業(yè)內(nèi)領(lǐng)先的深度學習原創(chuàng)技術(shù)的優(yōu)勢,以學習能力更強、速更快、功耗更低的神經(jīng)網(wǎng)絡(luò)架構(gòu),結(jié)合GPU技術(shù),實現(xiàn)了深度視頻理解和圖像處理的更多可能。
● SensePose:單目攝像頭實現(xiàn)人體動作估計
作為商湯科技首次亮相的產(chǎn)品,SensePose具有開拓性意義。它區(qū)別于以往的雙目攝像頭、帶紅外線攝像頭、關(guān)節(jié)處佩戴傳感器等傳統(tǒng)的動作捕捉解決方案,通過單目攝像頭即實現(xiàn)了動作估計,大大降低了動作捕捉設(shè)備的制造成本。SensePose可充分利用GPU性能,可精確地將關(guān)鍵點定位在10個像素以內(nèi)的人體關(guān)節(jié),從而在視頻中實時、準確地識別人體姿態(tài),定位手、肩、腳、腰等十幾個關(guān)鍵點位置,魯棒性好。
SensePose將成為日后人機交互、虛擬穿戴、虛擬試衣等應用的決定性技術(shù),應用前景廣泛。而動作估計與人臉預測技術(shù)相結(jié)合,更可用于描述視頻中人物關(guān)系或人物狀態(tài),從而實現(xiàn)視頻內(nèi)容的理解和分析,為影視行業(yè)創(chuàng)造更多商業(yè)價值。
此外,商湯科技還展示了一套運行于NVIDIA TITAN X GPU上,可讀取雙目視頻,并實時計算深度的高質(zhì)量雙目深度估計系統(tǒng)。憑借商湯科技全新開發(fā)的神經(jīng)網(wǎng)絡(luò)架構(gòu),該系統(tǒng)在權(quán)威自動駕駛算法評測數(shù)據(jù)集KITTI 2015立體基準上獲得了超越的性能表現(xiàn)。
●SenseFace:視頻監(jiān)控中的大規(guī)模人臉識別
SenseFace人臉布控系統(tǒng),非常適合用于飛機場、火車站等公共場合的大規(guī)模視頻監(jiān)控系統(tǒng)中的實時大庫人臉識別。該系統(tǒng)可提供在監(jiān)控視頻中實時抓拍人臉、布控報警、屬性識別、統(tǒng)計分析、重點人員軌跡還原等功能,并做出及時有效的智能預警。憑借商湯科技的超過1000層的神經(jīng)網(wǎng)絡(luò),SenseFace在光照、角度、表情、遮擋、年齡變化等情況下,仍能保持超高的識別準確率。得益于NVIDIA cuDNN和TensorRT庫,SenseFace可分別在單個Tesla M40 GPU和單個Jetson TX1上支持12路和2路全高清視頻的實時處理。目前,SenseFace已協(xié)助抓獲數(shù)百名罪犯。
● SenseVideo:視頻監(jiān)控中的對象識別與分析
SenseVideo視頻結(jié)構(gòu)化系統(tǒng),是商湯科技在全球權(quán)威的計算機視覺競賽ILSVRC 2016中獲得場景分析第一名的深度學習模型的實際應用成果。該系統(tǒng)擁有行人檢測、車輛檢測、車輛分類等多種技術(shù),可以在監(jiān)控視頻中按照時間和地點,實現(xiàn)人、非機動車和機動車的檢測、跟蹤、抓拍、檢索及數(shù)據(jù)統(tǒng)計和分析,為路面狀況動態(tài)分析、車流密集地段識別、街面安全時段分析提供強大助力。得益于NVIDIA cuDNN和TensorRT庫,SenseVideo在單個Jetson TX1平臺上即可實時處理雙路高清視頻。
● SensePhoto:全面的手機影像處理解決方案
SensePhoto目前已被中國前十大國產(chǎn)手機品牌中的大部分品牌所使用。借助基于GPU的深度學習引擎,SensePhoto可以提供暗光增強、去霧、智能濾鏡、藝術(shù)畫以及多種人像拍照解決方案,包括人臉變形、美顏、背景虛化等功能,即便是在遇到暗光、逆光、大角度的情況下,效果也不成問題。SensePhoto還可提供智能相冊解決方案,能夠?qū)崿F(xiàn)云端及離線端的人臉或場景聚類,輕松解決手機中上百數(shù)千張照片的管理歸類難題。
● SenseAR:實時視頻中AR特效生成解決方案
SenseAR結(jié)合了全球領(lǐng)先的人臉檢測及追蹤、106個人臉關(guān)鍵點定位等技術(shù)?;谑謾C攝像頭,SenseAR可進行臉部、手勢、前背景的跟蹤定位,并進行增強現(xiàn)實感特效的內(nèi)容繪制,可應用于娛樂、教育等諸多領(lǐng)域。目前,包括Faceu、SNOW、小咖秀、熊貓直播等多種APP中均采用了SenseAR技術(shù),用戶可以體驗到趣味面部貼紙、變臉乃至動作增強、背景替換等眾多有趣的功能。
作為中國匯聚科學家數(shù)量最多的創(chuàng)業(yè)公司,商湯科技擁有備受業(yè)內(nèi)認可的大量學術(shù)成果。自主研發(fā)的深度學習框架,自主搭建的深度學習超算平臺DeepLink,更成為商湯科技巨大的技術(shù)優(yōu)勢。同時,結(jié)合與NVIDIA、Mellanox、曙光等平臺廠商的合作,以及在金融、安防、手機、互聯(lián)網(wǎng)等領(lǐng)域超過300家的簽約合作客戶,商湯科技成功打造了SenseTime Inside的AI商業(yè)生態(tài),如今已成長為一只AI獨角獸,并且成為目前中國融資額最大的AI企業(yè)。