康奈爾大學(xué)的研究人員發(fā)明了一種耳機(jī)，可以通過觀察臉頰的輪廓來連續(xù)跟蹤完整的面部表情，然后可以將表情轉(zhuǎn)換成表情符號(hào)或無聲的語(yǔ)音命令。
“這種設(shè)備比任何現(xiàn)有的可佩戴在耳朵上的跟蹤面部表情的技術(shù)更簡(jiǎn)單、更不顯眼，也更有能力，”康奈爾大學(xué)科幻實(shí)驗(yàn)室(Cornell's SciFi Lab)主任張成表示，他也是這項(xiàng)研究成果的作者之一。
借助這款名為C-Face的耳掛設(shè)備，用戶無需面對(duì)屏幕，就可以在線向他人發(fā)送消息。
張成表示，“在以前旨在識(shí)別面部表情的可穿戴技術(shù)中，大多數(shù)解決方案都需要在臉上安裝傳感器......即使安裝許多儀器，其識(shí)別能力也很有限”。
該設(shè)備由兩個(gè)微型RGB相機(jī)(用于捕捉紅色、綠色和波段光)組成，位于耳朵下方，帶有耳機(jī)或耳塞。攝像機(jī)記錄面部肌肉運(yùn)動(dòng)引起的面部輪廓變化。
研究人員表示，面部輪廓對(duì)面部表情的信息量很大，當(dāng)我們做出面部表情時(shí)，面部肌肉會(huì)伸展和收縮，它們推拉皮膚，影響附近面部肌肉的張力。這種效果會(huì)導(dǎo)致臉頰輪廓(輪廓)從耳朵的角度發(fā)生變化。
一旦圖像被捕獲，可以使用計(jì)算機(jī)視覺和深度學(xué)習(xí)模型對(duì)其進(jìn)行重建。該模型將臉頰圖像轉(zhuǎn)換成42個(gè)面部特征點(diǎn)或標(biāo)志，代表嘴、眼睛和眉毛的形狀和位置，這些特征受表情變化的影響最大。
這些由42個(gè)特征點(diǎn)所表達(dá)的重構(gòu)面部表情也可以被翻譯成8個(gè)表情符號(hào)，包括“自然”、“憤怒”和“親吻”。還可以作為控制音樂設(shè)備的命令，通過表情變化就能實(shí)現(xiàn)“播放”、“下一首”和“音量加”等功能。
由于疫情限制，研究人員只能在九名參與者身上測(cè)試該設(shè)備，其中還包括兩名研究作者。他們將這款耳機(jī)的性能與最先進(jìn)的計(jì)算機(jī)視覺庫(kù)進(jìn)行了比較，該庫(kù)從正面攝像頭捕獲的全臉圖像中提取面部標(biāo)志，最后發(fā)現(xiàn)平均誤差小于0.8毫米。
實(shí)驗(yàn)結(jié)果顯示，表情識(shí)別的準(zhǔn)確率超過88%，無聲語(yǔ)音的準(zhǔn)確率接近85%。
這一技術(shù)對(duì)于某些場(chǎng)景，比如在圖書館或其他共享工作空間中很是受用，不過研究人員也表示，這樣的話使用者就不能看到對(duì)方的面部表情。
不過，這一技術(shù)目前還存在一些難題，兩個(gè)攝像機(jī)的功耗過高，對(duì)這一設(shè)備的續(xù)航帶來了較大影響，研究人員表示下一步將考法功耗更低的傳感技術(shù)。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團(tuán)旗下的專業(yè)媒體平臺(tái)，自1994年品牌成立以來，一直專注于安全&自動(dòng)化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場(chǎng)趨勢(shì)的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國(guó)際行業(yè)展覽會(huì)資源以及豐富的媒體經(jīng)驗(yàn)，提供媒體、活動(dòng)、展會(huì)等整合營(yíng)銷服務(wù)。
粵公網(wǎng)安備 44030402000264號(hào)
