在本屆大會上,商湯徐立博士和顏深根博士分別就深度視頻理解和工業(yè)級深度學(xué)習(xí)技術(shù)做了演講。商湯所展示的SensePose、SenseFace、SenseVideo、SensePhoto、SenseAR等解決方案,充分詮釋了其業(yè)內(nèi)領(lǐng)先的深度學(xué)習(xí)原創(chuàng)技術(shù)的優(yōu)勢,以學(xué)習(xí)能力更強(qiáng)、速更快、功耗更低的神經(jīng)網(wǎng)絡(luò)架構(gòu),結(jié)合GPU技術(shù),實(shí)現(xiàn)了深度視頻理解和圖像處理的更多可能。
● SensePose:單目攝像頭實(shí)現(xiàn)人體動作估計(jì)
作為商湯科技首次亮相的產(chǎn)品,SensePose具有開拓性意義。它區(qū)別于以往的雙目攝像頭、帶紅外線攝像頭、關(guān)節(jié)處佩戴傳感器等傳統(tǒng)的動作捕捉解決方案,通過單目攝像頭即實(shí)現(xiàn)了動作估計(jì),大大降低了動作捕捉設(shè)備的制造成本。SensePose可充分利用GPU性能,可精確地將關(guān)鍵點(diǎn)定位在10個像素以內(nèi)的人體關(guān)節(jié),從而在視頻中實(shí)時、準(zhǔn)確地識別人體姿態(tài),定位手、肩、腳、腰等十幾個關(guān)鍵點(diǎn)位置,魯棒性好。
SensePose將成為日后人機(jī)交互、虛擬穿戴、虛擬試衣等應(yīng)用的決定性技術(shù),應(yīng)用前景廣泛。而動作估計(jì)與人臉預(yù)測技術(shù)相結(jié)合,更可用于描述視頻中人物關(guān)系或人物狀態(tài),從而實(shí)現(xiàn)視頻內(nèi)容的理解和分析,為影視行業(yè)創(chuàng)造更多商業(yè)價值。
此外,商湯科技還展示了一套運(yùn)行于NVIDIA TITAN X GPU上,可讀取雙目視頻,并實(shí)時計(jì)算深度的高質(zhì)量雙目深度估計(jì)系統(tǒng)。憑借商湯科技全新開發(fā)的神經(jīng)網(wǎng)絡(luò)架構(gòu),該系統(tǒng)在權(quán)威自動駕駛算法評測數(shù)據(jù)集KITTI 2015立體基準(zhǔn)上獲得了超越的性能表現(xiàn)。
●SenseFace:視頻監(jiān)控中的大規(guī)模人臉識別
SenseFace人臉布控系統(tǒng),非常適合用于飛機(jī)場、火車站等公共場合的大規(guī)模視頻監(jiān)控系統(tǒng)中的實(shí)時大庫人臉識別。該系統(tǒng)可提供在監(jiān)控視頻中實(shí)時抓拍人臉、布控報(bào)警、屬性識別、統(tǒng)計(jì)分析、重點(diǎn)人員軌跡還原等功能,并做出及時有效的智能預(yù)警。憑借商湯科技的超過1000層的神經(jīng)網(wǎng)絡(luò),SenseFace在光照、角度、表情、遮擋、年齡變化等情況下,仍能保持超高的識別準(zhǔn)確率。得益于NVIDIA cuDNN和TensorRT庫,SenseFace可分別在單個Tesla M40 GPU和單個Jetson TX1上支持12路和2路全高清視頻的實(shí)時處理。目前,SenseFace已協(xié)助抓獲數(shù)百名罪犯。
● SenseVideo:視頻監(jiān)控中的對象識別與分析
SenseVideo視頻結(jié)構(gòu)化系統(tǒng),是商湯科技在全球權(quán)威的計(jì)算機(jī)視覺競賽ILSVRC 2016中獲得場景分析第一名的深度學(xué)習(xí)模型的實(shí)際應(yīng)用成果。該系統(tǒng)擁有行人檢測、車輛檢測、車輛分類等多種技術(shù),可以在監(jiān)控視頻中按照時間和地點(diǎn),實(shí)現(xiàn)人、非機(jī)動車和機(jī)動車的檢測、跟蹤、抓拍、檢索及數(shù)據(jù)統(tǒng)計(jì)和分析,為路面狀況動態(tài)分析、車流密集地段識別、街面安全時段分析提供強(qiáng)大助力。得益于NVIDIA cuDNN和TensorRT庫,SenseVideo在單個Jetson TX1平臺上即可實(shí)時處理雙路高清視頻。
● SensePhoto:全面的手機(jī)影像處理解決方案
SensePhoto目前已被中國前十大國產(chǎn)手機(jī)品牌中的大部分品牌所使用。借助基于GPU的深度學(xué)習(xí)引擎,SensePhoto可以提供暗光增強(qiáng)、去霧、智能濾鏡、藝術(shù)畫以及多種人像拍照解決方案,包括人臉變形、美顏、背景虛化等功能,即便是在遇到暗光、逆光、大角度的情況下,效果也不成問題。SensePhoto還可提供智能相冊解決方案,能夠?qū)崿F(xiàn)云端及離線端的人臉或場景聚類,輕松解決手機(jī)中上百數(shù)千張照片的管理歸類難題。
● SenseAR:實(shí)時視頻中AR特效生成解決方案
SenseAR結(jié)合了全球領(lǐng)先的人臉檢測及追蹤、106個人臉關(guān)鍵點(diǎn)定位等技術(shù)?;谑謾C(jī)攝像頭,SenseAR可進(jìn)行臉部、手勢、前背景的跟蹤定位,并進(jìn)行增強(qiáng)現(xiàn)實(shí)感特效的內(nèi)容繪制,可應(yīng)用于娛樂、教育等諸多領(lǐng)域。目前,包括Faceu、SNOW、小咖秀、熊貓直播等多種APP中均采用了SenseAR技術(shù),用戶可以體驗(yàn)到趣味面部貼紙、變臉乃至動作增強(qiáng)、背景替換等眾多有趣的功能。
作為中國匯聚科學(xué)家數(shù)量最多的創(chuàng)業(yè)公司,商湯科技擁有備受業(yè)內(nèi)認(rèn)可的大量學(xué)術(shù)成果。自主研發(fā)的深度學(xué)習(xí)框架,自主搭建的深度學(xué)習(xí)超算平臺DeepLink,更成為商湯科技巨大的技術(shù)優(yōu)勢。同時,結(jié)合與NVIDIA、Mellanox、曙光等平臺廠商的合作,以及在金融、安防、手機(jī)、互聯(lián)網(wǎng)等領(lǐng)域超過300家的簽約合作客戶,商湯科技成功打造了SenseTime Inside的AI商業(yè)生態(tài),如今已成長為一只AI獨(dú)角獸,并且成為目前中國融資額最大的AI企業(yè)。