本文由芒果TV音視頻技術專家譚嵩在LiveVideoStackCon2020線上峰會的演講內容整理而成，結合芒果TV的工程化研發實踐經驗，對基于主觀感興趣區域的視頻編碼技術進行了詳細解析。

大家好，本次分享我將結合芒果TV音視頻技術研發團隊的實踐，對主觀感興趣區域的視頻編碼技術進行詳細解析。內容包括以上四個部分，其中會重點介紹我們在主觀感興趣區域編碼工程化中遇到的一些問題與思考。 1 5G背景下，視頻運營平臺的新挑戰

隨著5G時代的到來，用戶對于視頻畫質體驗的要求越來越高，如4K、8K、高幀率、HDR等。廣電總局對電視播出的4K超高清視頻規范的要求是視頻碼率大于100兆。互聯網視頻應用對此還沒有規范性的標準，但為了達到合格的播放體驗要求，視頻碼率也將呈現出成倍增長的趨勢，這就導致視頻運營平臺短期內在CDN成本、用戶播放卡頓兩方面會面臨更加嚴峻的挑戰。

面對上述挑戰，我們最容易想到的方法就是通過壓縮效率更高的下一代視頻編碼標準，如AV1、VVC等，有效降低成本。但就目前情況來看，這些標準其實還不具備大規模商用的生態環境，真正能夠支持硬件解碼的設備其實非常的少。另一方面，內容感知編碼以及拐點參數在國內外各大視頻平臺已經得到普遍的應用。在這種情況下，我們需要的是挖掘更多的工具或手段，極限壓榨編碼的碼率。 2 人眼主觀感興趣關注的特點 2.1 人眼的視覺過程

人眼的視覺過程大致為視網膜成像，大腦接收信息并做出初步的分析，產生視覺注意力聚集，并且最后對重點區域做關注。例如，人在開車過程中，前方的道路和車輛就是主觀關注和感興趣區域，周邊的區域就是非關注區域。

2.2 主觀感興趣區域數據的提取

主觀感興趣區域數據集一般是通過眼動儀獲取。眼動儀是記錄眼動行為的一套設備，它包括一幅特殊的眼鏡，一個記錄模塊，一套控制軟件，一套數據分析軟件。其中控制軟件是非常重要的一個組成部分，因為它要對觀看的對象和眼部行為數據做精密的同步，數據分析軟件就是后期對數據做清洗分析。

使用眼動儀獲取ROI大數據要注意這樣幾點問題：首先使用眼動儀收集數據的成本比較高，且更為重要的是人力的投入，因為需要有一定基數的參與量，數據才具有客觀意義；其次是數據的可靠性，一個經驗并不豐富的測試人員，很可能在測試過程中會給自己某些心理暗示，導致記錄的行為并非自然狀態下的真實行為，也就是說最后取得的數據很可能是無效的；最后，第三點就是數據清洗。 3 主觀感興趣視頻編碼的工程應用 3.1 設計背景

基于感興趣區域的視頻編碼是利用人眼主觀存在感興趣區域和非感興趣區域的特點，我們對主觀感興趣區域和非感興趣區域的碼率分配做一定的修正，將更多的碼率分配到主觀感興趣區域，從而在主觀上提升視頻質量。這是感興趣區域視頻編碼的理論設計，在工程上官方版本的x264、x265編碼器并沒有這樣的設計，即對于一個x264編碼器或者x265編碼器來說，視頻的每個畫面中的每個像素都是同等重要。因此我們需要對編碼器做一個工程化的開發，來實現不同像素的權重差異化，目標是達到同等碼率提升主觀質量或者同等體驗降低碼率，降低運營成本。 3.2 ROI編碼器實現架構設計

我們在編碼的兩個階段做了ROI的處理，分別是視頻的前處理以及視頻編碼的過程。 前處理階段主要是做ROI區域的增強，即圖像層面的增強，同時對非ROI區域圖像層面，進行降噪、磨皮等處理。做過視頻編碼的朋友應該清楚，高頻其實對編碼是不太友好的，低頻則對編碼更加友好。非ROI區域進行降噪、磨皮之后，更多的就變成了相對友好的低頻區域。那么在同等的PSNR或者客觀指標下，碼率會有明顯的降低。 視頻編碼階段，我們主要是通過AQ調整QP值，實現碼率分配的修正。也就是說對不同的主觀感興趣區域和非感興趣區域做不同的QP調整， QP越小，質量越好，碼率也會越高；QP越大，宏塊得到的碼率越小，畫質越差。通過這樣一個調整，實現ROI的權重調整。 3.3 ROI區域的定義

ROI編碼并不是一個很新的概念，之前就有中心區域ROI、人臉ROI、字幕ROI等。 中心區域ROI是基于經驗的判斷，在正常視頻的拍攝手法上通常會將最重要的內容放在畫面最中間。人臉ROI其實也是基于這樣的經驗判斷，一般來講人物往往是視頻內容中的主角。 字幕ROI是非常重要的一個方面，我們做過一個主觀的調研：完全同樣的視頻畫面，分別提供不同清晰度的字幕進行主觀盲測。最終結果是：認為“字幕清晰”的視頻是“畫質更好”視頻的，占比明顯更高。 基于深度學習的ROI區域識別是當前更有效的手段。 3.4 深度學習的ROI的識別技術

基于深度學習的ROI的識別在技術上分為兩類，一個是基于感興趣區域的熱度圖檢測，另外一個是顯著對象分割。通過實踐理解，在應用場景上我們認為這兩者是有一定差異性的。我們認為感興趣區域的熱度圖更適合長視頻劇集類型的節目，顯著對象分割則更適合真人自拍小視頻等場景。 3.4.1 顯著對象分割

顯著對象分割為什么會更適合真人直播或者真人自拍小視頻？ 真人直播或者真人自拍小視頻通常來說有這兩個特點：第一是前景在畫面中面積的占比一般較大；第二是前景和背景相關性比較弱，且前景的內容重要性具有絕對的地位。以此可以也必須對背景做比較多的圖像細節丟失和編碼壓縮，來提升前景顯著區域的畫面質量。 3.4.2 感興趣區域熱度檢測

劇集類長視頻節目的特點是畫面的整體相關性更強、畫面存在多點位ROI區域，因此不能類似于真人小視頻一樣過度的衰減非ROI區域來補償ROI區域，需要用較多的非ROI區域來補償較小的ROI區域，這樣非ROI區域的衰減在主觀上也不明顯。感興趣熱度圖符合這個需求特點。 3.5 第一版ROI編碼工程化實現過程

這是我們在ROI編碼工程化過程中實現的第一個版本。首先實現的是對一個ROI元素的處理。我們從原圖分析得到ROI的熱度圖，然后對熱度圖做二值化處理并且膨脹后腐蝕到可控的閾值范圍內的ROI面積占比。最后我們做了一個宏塊級的數據結構化，因為最終要映射到編碼宏塊上去，這里有一個閾值參數，是我們要控制好ROI區域和非ROI區域的面積占比。面積太小，ROI增強的效果不太明顯，但是面積過大，由于ROI區域畫質提升是以犧牲非ROI區域的細節或質量實現的，這會導致非ROI區域的質量下降非常明顯、如果進一步下降達到主觀產生厭惡感的閾值，會吸引注意力到這些糟糕的、突兀的畫面上，ROI編碼的目的就沒有達到。

在工程化實現上，我們對x264、265編碼器做了一個ROI的編碼實現。編碼器讀取當前幀的ROI分析結果元數據，在視頻編碼器中通過AQ實現對QP的修正，ROI區域的QP會降低，編碼質量會提升，同時碼率也會消耗的更多。整幀碼率控制依然由x264和x265原生的碼率控制算法負責。 3.6 二值ROI的失敗case

做完第一個版本之后，我們發現，由于這是一個二值ROI，ROI區域和非ROI區域是0和1的區別，導致ROI和非ROI區域的非平滑過渡在銜接處會有一個明顯的畫質對比跳變（QP值跳變）。第二個問題是我們對非ROI區域的QP調整是交回給x264和x265編碼器原生的碼率控制，由于我們對ROI區域的QP調整破壞了原生碼率控制算法的數學關系，所以部分場景出現非ROI區域的渣感現象。這是兩個失敗的case。 3.7 灰階ROI迭代版本

因為上述兩個失敗的case，我們進一步提出了一個迭代版本灰階ROI。灰階ROI實現的是ROI和非ROI區域之間一個ROI強度的灰度過渡，所以QP會有一個平滑的調整，避免兩個區域邊緣質量差距過大，形成一個突兀的畫質對比。 3.7.1 灰階ROI的計算過程

灰階ROI碼率控制的計算過程：我們的計算目標是得到一個QP的修正值QP’，Sij是我們對應宏塊的一個灰階的ROI值，也就是我們剛才這里ROI的一個灰度的數值，范圍是0到255。p%其實是ROI區域的面積占比，b%是ROI區域的碼率的占比，也就是說我們在p%面積占比的ROI區域上給予了b%的碼率。目前我們采用的數值p是20%，b是30%，會對20%的面積修正給予30%的碼率。同時對非ROI區域的QP做了反向的主動修正。

通過這個迭代版本實現了ROI和非ROI區域畫質的平滑過渡，同時非ROI區域渣感明顯降低。 3.8 效果評估

這段視頻是最終送給編碼器指導ROI編碼的ROI灰階圖數據的真實示例。為了更加清晰和直觀，這個示例中非ROI區域我們做了一個灰度視頻顯示，ROI區域還是原來的彩色顯示。

上圖是ROI編碼和非ROI編碼的實際效果對比圖。其中ROI編碼的版本降低10%碼率，在這個條件下，主觀質量依然高于非ROI編碼版本。 4 問題和挑戰

我們在最后繼續向行業拋出這個不算很新的話題 — ROI編碼視頻質量的機器評價，目前我們主要還是通過人工的方式進行一些主觀評價。在批量化自動生產條件下，如何做好ROI編碼視頻質量的機器評價，是非常具有挑戰和價值的一項工作。