據(jù)外媒報(bào)道，阿里巴巴浙江大學(xué)研究中心和史蒂文斯理工學(xué)院的研究人員近日推出了一種提升AI閱讀唇語(yǔ)準(zhǔn)確率的方法——“Lip by Speech（LIBS）”。

　　該方法利用視頻中的語(yǔ)音信息作為輔助線索，減少了AI對(duì)視頻中無(wú)關(guān)幀的關(guān)注，使其注意力更加集中。據(jù)研究人員稱，使用該方法的AI在兩個(gè)唇語(yǔ)閱讀基準(zhǔn)測(cè)試中，字符錯(cuò)誤率分別降低了7.66％和2.75％。

　　一、圖像語(yǔ)音相結(jié)合解讀唇語(yǔ)

　　實(shí)際上，能夠從視頻中讀唇語(yǔ)的AI和機(jī)器學(xué)習(xí)算法并不是什么新鮮事物。早在2016年，谷歌和牛津大學(xué)的研究人員就詳細(xì)介紹了一種系統(tǒng)，該系統(tǒng)可以以46.8％的精度注釋視頻素材，優(yōu)于專業(yè)讀唇語(yǔ)人員12.4％的精度。但是，即使是最先進(jìn)的系統(tǒng)也難以解決唇部運(yùn)動(dòng)的“一語(yǔ)多義”問(wèn)題，從而使唇語(yǔ)識(shí)別的準(zhǔn)確率一直無(wú)法超越語(yǔ)音識(shí)別。

　　為了追求唇語(yǔ)閱讀性能更加強(qiáng)大的系統(tǒng)，阿里巴巴浙江大學(xué)研究中心和史蒂文斯理工學(xué)院的研究人員設(shè)計(jì)了一種方法，稱為“Lip by Speech（LIBS）”。該方法利用從語(yǔ)音識(shí)別器中提取的特征信息作為補(bǔ)充線索。他們說(shuō)，利用該方法的系統(tǒng)在兩個(gè)基準(zhǔn)測(cè)試中都達(dá)到了業(yè)界領(lǐng)先的準(zhǔn)確性，在字符錯(cuò)誤率方面分別降低了7.66％和2.75％。

　　LIBS和其他類似的解決方案可以幫助那些聽(tīng)障人士觀看缺少字幕的視頻。據(jù)估計(jì)，全世界有4.66億人患有失能性聽(tīng)力障礙（disabling hearing loss），約占世界人口的5％。根據(jù)世界衛(wèi)生組織的數(shù)據(jù)，到2050年，這一數(shù)字可能會(huì)超過(guò)9億。

　　二、LIBS方法是怎樣應(yīng)用的？

　　LIBS會(huì)以多種規(guī)模等級(jí)，從有聲視頻中提取有用的音頻數(shù)據(jù)，包括序列級(jí)（sequence level）、文本級(jí)（context level）和幀級(jí)（frame level）。然后，將這些提取的數(shù)據(jù)與視頻數(shù)據(jù)通過(guò)他們之間的對(duì)應(yīng)關(guān)系對(duì)齊，最后利用一種篩選（filtering）技術(shù)來(lái)優(yōu)化（refine）提取的數(shù)據(jù)。

　　LIBS的語(yǔ)音識(shí)別器和唇語(yǔ)閱讀器這兩部分均為一種“基于注意力的序列到序列的（attention-based sequence-to-sequence）”體系結(jié)構(gòu)，這種體系結(jié)構(gòu)可將一段音頻或視頻序列的輸入信息轉(zhuǎn)化為帶有標(biāo)簽和注意價(jià)值（attention value）的輸出信息。

　　研究人員通過(guò)上述方法在LRS2數(shù)據(jù)集上對(duì)系統(tǒng)進(jìn)行訓(xùn)練，LRS2包含來(lái)自BBC的45,000多個(gè)口頭句子，同時(shí)也在CMLR上訓(xùn)練，CMLR是現(xiàn)有的最大中文普通話口語(yǔ)語(yǔ)料庫(kù)，具有來(lái)自中國(guó)網(wǎng)絡(luò)電視臺(tái)的10萬(wàn)多個(gè)自然句子（包括3,000多個(gè)中文字符和20,000個(gè)詞組）。

　　三、“幀級(jí)知識(shí)提取”是關(guān)鍵

　　該團(tuán)隊(duì)指出，由于LRS2數(shù)據(jù)集中的某些句子過(guò)短，該系統(tǒng)難以在LRS2數(shù)據(jù)集上實(shí)現(xiàn)“合理的”結(jié)果。但是，一旦對(duì)最大長(zhǎng)度為16個(gè)單詞的句子進(jìn)行了預(yù)訓(xùn)練，解碼器就可以利用文本級(jí)的知識(shí)，提高LRS2數(shù)據(jù)集中句子結(jié)尾部分的質(zhì)量。

　　研究人員在論文中寫道：“LIBS減少了對(duì)無(wú)關(guān)幀的關(guān)注”，“幀級(jí)知識(shí)的提?。╢rame-level knowledge distillation）進(jìn)一步提高了視頻幀特征的可分辨性，使注意力更加集中?！?/p>