目前,成熟的智能家居系統(tǒng)的室外機中,門禁可視對講和門禁控制幾乎全部采用模擬信號,安裝時需要架設專用網絡,布線復雜,不可擴展,靈活性差,傳輸距離短,投資大,維護成本高。隨著市場需求的增長、消費者消費觀念的提高以及模擬系統(tǒng)沉重的工程維護代價,結合以太網技術的全數字室外機和門禁產品成為研發(fā)的熱點。但是在諸多因素影響下,當前的數字門禁產品不成熟,不穩(wěn)定,價格高昂,特別是門禁對講中的音視頻同步問題,一直以來都是數字可視對講的短板。
在數字可視對講中,可以考慮的音視頻同步方案有兩種:一是發(fā)送端解決;二是接收端解決。
發(fā)送端解決方法比較簡單,具體措施是在發(fā)送端先將一段時間內采集到音視頻數據打包。比如采集到一幀視頻圖像,將這幀圖像與采集這幀視頻的時間內采集到的視頻數據打成一個包,接收端接收到這個包之后解包分別播放就可以了。發(fā)送端解決的控制方法比較簡單,但是高清若是要求清晰度比較高的情況下就不是很理想,清晰度高,意味著每個音視頻包數據量就大,能保證同步,卻不保證連續(xù)。測試這種方案時,在同一個線程中循環(huán)的按照先后順序發(fā)送PCM音頻,和H.264視頻,測試的結果表明這種方法確實存在連續(xù)問題。
接收端解決方案繞不開的問題是時間戳,接收端根據接收到的音視頻數據的時間戳安排播放。時間戳需要一個參考時間。而采集過程中視頻的時間是不定的,數字攝像頭采集圖像的幀率是一個平均值,不宜用來做參考時間,所以只能用音頻時間作為參考時間。
與文件形式的多媒體不同的是,可視對講中音視頻流的源端是永遠同步的。所以一種簡單的解決方案是發(fā)送端啟用獨立的音頻和視頻線程,進行音視頻采集,采集后只管往外發(fā)送數據,接收端接到數據就分別解碼播放,從表面看,這種采用無同步機制多線程解決方案是可行的,但是忽略了一個問題:音頻數據包和視頻數據包的大小。包的大小會影響網絡傳輸的速度。這種差別在網絡條件好的情況下顯示不出來,一旦遇到網絡擁塞或者其他情況就會變得很明顯。
根據對音頻采集和處理的敘述,我們知道,音頻的采集是有時間機制的。比如采樣率是8000,采樣位數是8,我們就可以算出采8K字節(jié)的數據所用的時間是1s,這樣音頻就可以按照自己的速度播放;而攝像頭每秒采集的幀數是相對固定的,如OV9650采集速度為平均每秒30幀,這樣即可以算出1/30秒(約為0.03333,具體精度可以根據要求決定)刷新一幀圖片,這種方式中只要保證源端音頻視頻的采集是同步的就可以,而門禁對講過程中,這種同步是原生的。