騰訊音視頻實驗室于2016年成立，它專注于音視頻的前瞻性研究，依托于QQ的海量平臺，在音視頻實時通訊和直播領域有著十多年的研究和豐富的經驗。音視頻實時通信、音視頻直播、圖像處理、視頻處理和語音處理等技術水平在業內已屬于領先水平，并正式開放自研的SPEAR音視頻引擎，將更多特性帶給開發者。目前QQ用戶每天的音視頻通話時長達12億分鐘，基于騰訊云平臺下，服務130+家客戶。

100個人心中有100個哈姆雷特，音視頻質量協調是如此，有的人喜歡重低音帶來的震撼，有的人喜歡高還原帶來的真實。這就引入了另外一個問題，就是在可用資源有限的情況下，音視頻的維度是相互矛盾的，這種矛盾性使得我們做音視頻質量評估時，標準變得非常模糊。最后是不確定性，影響音視頻質量的因素有很多，燈光，網絡損傷，設備狀態等等，這些環境的隨機性引入了不確定性，給音視頻測試帶來了巨大的困難。

清晰度是衡量視頻通話質量的重要因素，主觀測試方法會通過人眼的觀察，對畫面的清晰度進行對比打分，更進一步會觀察細節，進行加權打分。對測試人員的辨識能力有一定的要求，如果測試量大的話，還需要考慮人員疲憊度對測試結果影響。如果清晰度差別并沒有達到一眼就能看出來的情況，那么主觀測試的結果參考性就會大大減弱，因此需要客觀測試進行輔助。

剛剛說了客觀測試可以作為主觀測試的一種輔助手段，讓數據更具說服力。然而，有些測試，主觀難以完成，必須借助客觀測試的手段。例如我們要講的音頻端到端延時測試，音視頻通話是一種溝通行為，對實時性有較高的要求。設備的采集和渲染，引擎中各種信號處理，還有ARQ重傳、FEC、Jitter Buffer等等網絡抗性算法，都會引入延時，我們需要關注用戶真正體驗到的延時。

測試模型中，把音頻信號輸入給終端A，終端B收到對應的信號，再進行采集，最后計算時間差。為了避免受到其他信號的干擾，我們采用的是計算互相關函數的方法來得到這個延時，通過查找互相關函數的最大值，可以得到兩個信號的偏移，再通過采樣率的關系最后得到時間差。

在一次測試的數據中看到，用延時來換取抖動抗性，對用戶體驗來說并不是非常友好。通過合理的安排主觀測試和客觀測試，去解決一部分主觀測試的問題，我們需要關注不同產品和環境下音視頻的情況，就要盡量消除環境的不確定性給音視頻測試帶來的困難。

在實際應用中，發現操作起來會遇到非常多的問題，音視頻質量存在著太多的不確定性。因為環境的多樣性和動態性，我們需要對環境變量進行精確的控制，需要有一個相對專業的實驗室環境來進行音視頻相關的技術測試。

一個基本的音視頻測試實驗室應該具備哪些條件呢？我們需要精確控制燈光，通過燈光設備來精確控制照度和色溫。需要精確控制聲音的輸入，因此，我們需要一個隔音室，用來隔絕外部的聲音以及內部產生的回聲，并且模擬不同的聲音場景。我們還需要精確控制網絡損傷，在測試網絡抗性的時候，通過高精度的網絡損傷設備模擬不同的場景。

互聯網音視頻通話離不開網絡傳輸，網絡非常復雜，包括了網絡損傷的時變性，音視頻通話中不能像其他業務那樣靜態地看待網絡損傷，如何實時探測網絡損傷的變化，以及如何應對，這是非常重要的問題。

常見的網絡損傷包括丟包，延時，抖動，帶寬受限。其中丟包又分為固有丟包、擁塞丟包、隨機丟包、連續丟包、持續丟包、突發丟包，這些應對方法都不一樣，作為測試，需要收集不同的模型。抖動就是網絡延時的變化，由于音視頻通話的實時性和時續性，抖動對通話質量影響非常大，處理抖動的方法就是引入Jitter Buffer。帶寬的適應性是網絡流通一大難點，需要不影響通話質量的前提下實時探測帶寬。傳統的帶寬探測方法很明顯不適用了，測試的時候需要關注帶寬探測的準確度，適應速度，以及帶寬的利用率，還有碼率平穩度等等。另外還需要關注復合場景，我們需要不斷在現網的技術運營中豐富復合場景模式。

實驗室測試的結果可以明確的指出缺陷的存在，并且指導優化的方向。因此，我們在真實環境中驗證最終結果，但是在研發過程中，更加推薦實驗室測試。在現網真實環境中，我們應該如何對音視頻質量進行監控呢？下面介紹矛盾與平衡，騰訊音視頻實驗室正在使用的綜合性指標，并結合EVA分享一下線上質量控制和數據分析的方案。

為了真正做到線上衡量音視頻通話質量，我們需要一個綜合各維度的結果型的數據，因此提出了無參考評估模型，EVA。首先解釋一下什么叫無參考評估模型，與之對應的是全參考評估，就是可以拿原信號做參考，常見的算法有PSNR，SSIM，PESQ，POLQA等等，通常來講，全參考評估的準確性比較高，實驗室測試中也經常使用。然而在很多情況下，實驗人員并沒有辦法拿到原信號進行參考，需要在只有被測信號前提下對質量進行評估，EVA就是這樣一套無參考評估。

僅通過QP無法完全表征視頻質量對于人眼的感受，因此需要引入內容特征的空域復雜度和時域復雜度作為輸入。考慮到計算的復雜度，需要使用1幀大小以及運動向量mv，結合編碼分辨率和QP來擬合空域復雜度和時域復雜度。作為視頻，單幀質量是遠遠不夠的，因此騰訊音視頻實驗室引入了幀渲染間隔作為輸入，用來表征幀率，幀率抖動，以及卡頓，對視頻通話質量的影響。

最后一個參數是延時，這是溝通質量的特征，延時對通話質量的影響要視具體的應用場景而定，例如音視頻實時通話和直播，明顯是不一樣的。是否有音視頻層面的互動，決定了單向延時還是雙向延時。

騰訊音視頻實驗室通過EVA的數據上報，來監測質量進行分時分區域的變化情況。還有一個最重要的應用，就是可以做A/B Test，在后臺發布兩種不同的流控策略，通過EVA數據來判斷兩種策略的效果。如圖所示，藍色曲線和紅色曲線分別代表兩種策略，通過EVA數據可以看到藍色的效果遠遠優于紅色，最后藍色策略。

線上質量評估僅僅從全局維度是不夠的，全網質量分析可以幫助了解大盤，宏觀評估音視頻質量優化的效果，但是回到具體問題的解決，還是需要個例進行分析，為此騰訊音視頻實驗室開發了一套線上實時單例的監控系統，以及線下分析系統，以秒為單位去分析音視頻質量。

最后對這次分享做一下總結，這次分享圍繞騰訊音視頻實驗室在音視頻質量評估的三大痛點的思考和實踐，來側面介紹了騰訊音視頻質量評估的整個體系。對于主觀性，首先要肯定主觀測試的重要性，當主觀測試無法滿足需求的時候，配合客觀測試的方法進行評估。對于不確定性，需要對測試環境進行精確的把控，減少不確定性因素，最后在真實環境中驗證最終結果。對于矛盾與平衡，需要一套綜合評價的數據，結合其他維度的數據來建立全局和單例的數據分析和線上監控。