騰訊云音視頻 PaaS 平臺與 NVIDIA 團隊合作，利用 NVIDIA TensorRT 加速視頻直播和點播業務中視頻增強 AI 模型的推理效率；借助 NVIDIA Maxine Video Effects SDK 的 AI 綠幕功能實現高性能高精度的人像分割，提升云導播臺服務的用戶體驗。

騰訊云音視頻 PaaS 平臺專注技術產品，構建了行業中極速高清智能轉碼、超低時延快直播的音視頻解決方案，連續四年居于市場份額和解決方案首位[1]，覆蓋國內 90% 音視頻客戶。團隊通過不斷的技術創新和產品優化引領行業發展，其中，騰訊云-媒體處理融合視頻 AI 技術持續突破核心編解碼技術，2021/2022 MSU 世界云端視頻轉碼比賽綜合最佳，且在最新的 SLC 評測中，也取得多項最佳的成績，另外騰訊云-媒體處理服務支撐全網 40%+ 實時媒體處理量[2]。"低延時、低碼率、高畫質"，騰訊云音視頻為全真互聯時代，提供堅實的數字化助力。

在構建高品質高性能的音視頻解決方案的過程中，往往會面臨許多挑戰。

首先，由于網絡傳輸或采集設備不佳的原因，直播或點播的畫質可能出現不清晰的問題，此時需要應用視頻增強算法，如視頻超分辨率。為了不影響用戶的觀看體驗，視頻增強算法需要以足夠低的延時運行。此外，音視頻 PaaS 平臺還需要對視頻進行高效的視頻標簽識別、視頻分類、視頻剪輯等，這都必須藉由 AI 模型的推理速度，達到最佳程度的優化和加速。

另外，在直播場景中，用戶希望對主播直播的畫面應用虛擬背景，這要求將人像從直播畫面中精準地分割出，并應用預設的背景。如何獲得實時性高、準確性強的人像分割也是一個難點。

騰訊云音視頻 PaaS 平臺與 NVIDIA 在諸多產品和業務中開展了深入合作，共同打造高性能的音視頻解決方案。

在云直播 CSS 服務以及媒體處理 MPS 服務中，騰訊云推出視頻增強功能。為了加速視頻增強模型的推理速度，騰訊云使用了?NVIDIA TensorRT?對模型進行高性能優化。TensorRT 是構建在 NVIDIA 的并行編程模型 CUDA 基礎之上的，結合最新一代?NVIDIA Ampere 架構 GPU，TensorRT 還可以利用?Tensor Core?實現稀疏性加速的特點。對于深度學習推理應用的生產環境部署方面，TensorRT 提供了 INT8 和 FP16 的優化，低精度推理能夠極大的降低應用的延遲，有益于實現實時視頻增強服務。

在云直播 CSS 云導播臺業務的 AI 智能人像摳圖功能中，騰訊云采用了?NVIDIA Maxine Video Effects SDK?中提供的 AI Green Screen（簡稱 AIGS）功能，對直播畫面進行實時而準確的人像分割。Maxine AIGS 對視頻流摳圖的精度和穩定性做了專門的優化，并且加入了 CUDA Graph 優化技術，及時在 GPU 負載高的時候也能降低整體的延時，使得云導播臺的人像分割模塊能實現多路并發、遠超實時的處理高效率。Maxine AIGS 提供了簡單易用的 API 接口，騰訊云音視頻 PaaS 平臺可直接在 FFmpeg filter 中通過 API 調用該功能，并可與其他多媒體處理 filter 聯動對視頻流進行處理。

最后，在媒體處理 MPS 業務中的視頻 AI 功能，涉及到了多個深度學習模型的推理，騰訊云同樣采用?NVIDIA T4 GPU?進行高性能推理。這得益于幾乎所有主流的深度學習框架均能在 NVIDIA GPU 上執行高效計算。

NVIDIA TensorRT 在騰訊云音視頻 PaaS 平臺的提供的視頻增強和視頻 AI 功能中，使得推理階段的應用在 NVIDIA T4 GPU 上可以實現同比單一 CPU 平臺高達 40 倍的加速效果。TensorRT 可以從所有主流的深度學習框架中導入訓練好的模型并進行優化，同時提供相應的 API 和解析器，生成經過優化的運行時引擎可以部署到畫質增強服務中。

未來，騰訊云音視頻 PaaS 平臺與 NVIDIA 將持續合作，進一步提升音視頻產品和服務中 AI 算法的性能。雙方將基于 NVIDIA TensorRT 最新的特性，利用低精度和稀疏化模型壓縮技術，對云直播和云點播業務中涉及到的視頻增強與視頻 AI 功能模型的推理進行大幅加速。此外，NVIDIA Maxine 在視頻特效和音頻特效方面持續發布新特性，包括音頻超分技術、立體環繞聲增強技術等，也將助力騰訊云音視頻 PaaS 平臺提供更豐富的音視頻服務和功能。雙方在未來也將不斷探索打造編解碼、AI、圖形渲染全流程 GPU 加速的視頻處理方案。

審核編輯：湯梓紅