隨著移動互聯網技術的發展,智能手機上基于無線網絡的可視對講功能的應用開始逐步興起。在Android上的此類應用程序的開發過程中,都會遇到聲學回聲難題。AEC技術非常復雜,需要非常專業的聲學和音頻處理技術。WebRTC的發布改變了這一局面，而QttAudio SDK的誕生，則完全將回聲消除、聲學音頻處理等復雜技術難度降至最低，使任何開發者都可以快速的開發出音視頻對講功能應用。

• WebRTC介紹

WebRTC是谷歌公司2011年發布的一項技術。WebRTC技術主要用于在支持HTML5的瀏覽器上實現實時音視頻對話。功能包括會話初始化協議SIP的實現、音視頻編解碼和音視頻數據處理等等。經過源代碼分析,將AEC部分的代碼單獨摘取出來,并編譯成動態鏈接庫,通過jni技術使Java代碼調用動態鏈接庫,實現高質量回聲消除。

WebRTC的AEC模塊采用自適應濾波算法實現回聲消除。該算法以輸出到揚聲器的音頻數據為依據,根據現場的回聲路徑特征,模擬出回聲信號。以模擬回聲信號為依據,從麥克風采集到的音頻數據中濾除模擬回聲信號。算法的實現原理如圖1所示。y(n)代表遠端語音數據,y(n)在交給近端揚聲器播放的同時,還送到自適應濾波器,產生回聲估計值d^(n)。x(n)代表近端有用語音,麥克風采集的數據是x(n)和y(n)產生的回聲d(n)的疊加,即x(n)+d(n)。經濾波處理,最終近端語音數據為:u(n)=x(n)+d(n)-d^(n)。其中e(n)=d(n)-d^(n),稱為回聲消除誤差。理想狀態下,e(n)應為0。但現實中e(n)不可能為0。濾波器會根據e(n)的值自動調整濾波系數。

• ?WebRTC的移植

我們將AEC模塊分成了兩個大塊,第一個大塊是音頻處理的通用模塊WebTRC_audio(該模塊編譯成功后生成“libwebrtc_spl.so”動態庫,供第二大塊調用),源代碼位于WebRTC源代碼根路徑下的“common_audio\signal_processing”中。第二大塊是WebRTC_aec(該模塊編譯成功后生成“libwebrtc_aec.so”動態庫),源代碼位于WebRTC源代碼根路徑下的“modules\audio_processing\aec”中。
如下是WebRTC_aec模塊的編譯腳本主要部分:
LOCAL_PATH:=$(call my-dir)
include $(CLEAR_VARS)
LOCAL_MODULE:=signal_prebuilt
LOCAL_SRC_FILES:=webrtc_signal/libwebrtc_spl.so
include $(PREBUILT_SHARED_LIBRARY)
include $(CLEAR_VARS)
LOCAL_MODULE := libwebrtc_aec
LOCAL_SHARED_LIBRARIES := signal_prebuilt
include $(BUILD_SHARED_LIBRARY)
先看編譯腳本的前五行,定義了一個預編譯模塊,即WebRTC_
a u d i o 塊, 然后通過L O C A L _ S H A R E D _ L I B R A R I E S :=signal_prebuilt來導入該模塊。

• 應用層多線程實現回聲消除

如果想要成功消除回聲,必須將近端數據和遠端數據之間的時間差控制在合理范圍內。在Android應用開發中,使用AudioRecord進行音頻采集,使用AudiorTrack進行遠端音頻播放。協調好這兩個類的輸入輸出時間同步,是回聲消除功能實現的重要保障。為了保證時間上的連續性和時間差,需要使用兩個單獨線程ReadThread和WriteThread來分別進行音頻采集和音頻播放。另外還有兩個單獨的線程InTrhead和OutThread來完成數據的接收和發送,還有一個線程AecThread完成回聲消除操作。線程之間的數據交換使用隊列來完成。

• QttAudio SDK解決回聲消除問題

上文可以看出，使用webrtc消除回音是一個很復雜的工作，編譯復雜，使用復雜，很不好控制近端與遠端時間差值，而且如何跨平臺的使用，同時滿足android，ios, linux, windows等平臺的需求，對于需要開發可視對講、音視頻通話等應用的企業來說，太難了。使用QttAudio SDK就簡單得多，跨平臺使用，10分鐘就可輕松集成，無需擔心回音、噪音、混音等問題，節約時間，提高開發效率，讓產品盡早上市。