在全球疫情的今天，大量線(xiàn)上服務(wù)短時(shí)間內(nèi)誕生或極速擴(kuò)張。身處在云計(jì)算的時(shí)代，如何用遠(yuǎn)超以往的基礎(chǔ)音視頻云服務(wù)快速構(gòu)建海量穩(wěn)定的在線(xiàn)應(yīng)用，以應(yīng)對(duì)一場(chǎng)全人類(lèi)的危機(jī)就顯得尤為重要。本次LiveVideoStackCon 2020線(xiàn)上峰會(huì)我們邀請(qǐng)到了騰訊云音視頻通信業(yè)務(wù)總經(jīng)理李郁韜，他將從視頻會(huì)議、在線(xiàn)教育和在線(xiàn)娛樂(lè)等典型場(chǎng)景來(lái)看音視頻技術(shù)推動(dòng)下的產(chǎn)品創(chuàng)新和機(jī)遇。

1. 疫情之下，云計(jì)算及音視頻通信云助力眾多垂直場(chǎng)景落地

疫情之下，各行各業(yè)都發(fā)生了巨大的變化，其核心本質(zhì)在于社會(huì)活動(dòng)從線(xiàn)下變成了線(xiàn)上，根據(jù)市場(chǎng)調(diào)研報(bào)告來(lái)看，線(xiàn)上應(yīng)用的用戶(hù)規(guī)模增長(zhǎng)最多的行業(yè)是效率辦公，其次是短視頻、在線(xiàn)教育、娛樂(lè)應(yīng)用等。同時(shí)，這些應(yīng)用的用戶(hù)在線(xiàn)時(shí)長(zhǎng)也呈現(xiàn)出井噴狀，由于復(fù)工復(fù)課的需求，在線(xiàn)教育迎來(lái)了較大的需求增長(zhǎng)。

從音視頻行業(yè)的整體產(chǎn)業(yè)鏈來(lái)看，隨著疫情的發(fā)展，越來(lái)越多的線(xiàn)上應(yīng)用將音視頻作為常態(tài)工具或標(biāo)準(zhǔn)配置。 大家較為熟知的互聯(lián)網(wǎng)應(yīng)用領(lǐng)域在疫情期間迎來(lái)比較正常的用戶(hù)增長(zhǎng)。由于復(fù)課的需要，各大在線(xiàn)教育相關(guān)應(yīng)用都迎來(lái)了用戶(hù)和在線(xiàn)時(shí)長(zhǎng)的爆發(fā)式增長(zhǎng)，同時(shí)還有很多垂直行業(yè)由于各種壓力，開(kāi)始在各種平臺(tái)進(jìn)行電商帶貨。企業(yè)無(wú)法進(jìn)行線(xiàn)下宣傳活動(dòng)，也紛紛搬到線(xiàn)上進(jìn)行，因此企業(yè)直播也迎來(lái)了很大的發(fā)展機(jī)遇，包括金融機(jī)構(gòu)的在線(xiàn)培訓(xùn)等。 這些行業(yè)的發(fā)展和應(yīng)用的催熟，都需要依賴(lài)底層基礎(chǔ)設(shè)施的成熟，利用云計(jì)算、音視頻通訊等技術(shù)，更多垂直行業(yè)才能快速將線(xiàn)下內(nèi)容轉(zhuǎn)移到線(xiàn)上進(jìn)行，以適應(yīng)在新的危機(jī)之下發(fā)現(xiàn)新的發(fā)展之路。 下面我將分別從不同的場(chǎng)景分享一些應(yīng)用和技術(shù)的發(fā)展趨勢(shì)。 2. 停課不停學(xué)，在線(xiàn)教育迎來(lái)新機(jī)遇

疫情期間，在停課不停學(xué)的政策指導(dǎo)下，在線(xiàn)教育成為了教學(xué)的唯一手段。 2.1 騰訊課堂一周上線(xiàn)極速版

在疫情發(fā)展最初的一周內(nèi)，根據(jù)用戶(hù)迫切的需求，騰訊課堂臨危受命，快速上線(xiàn)極速版。其核心能力是基于音視頻的實(shí)時(shí)通訊以及大房間直播的應(yīng)用。在上線(xiàn)的過(guò)程中，我們發(fā)現(xiàn)很多音視頻領(lǐng)域的新能力得到了廣泛應(yīng)用，例如騰訊云的超低延時(shí)直播—— 快直播產(chǎn)品，它可以幫助騰訊課堂在短時(shí)間內(nèi)極速擴(kuò)容，以支持百萬(wàn)級(jí)師生同時(shí)在線(xiàn)的低延時(shí)課堂需求。 2.2 超低延時(shí)直播技術(shù)發(fā)展

對(duì)于直播延時(shí)技術(shù)，直播延時(shí)需要越來(lái)越短已經(jīng)達(dá)成共識(shí)，觀(guān)眾和主播端可以有越來(lái)越多交互的可能性。 海外的一些廠(chǎng)商會(huì)主推HLS、CMAF等技術(shù)，其本質(zhì)都是基于HTTP編碼快，傳輸切片更小，一般延時(shí)在2-3秒左右；國(guó)內(nèi)最初的直播技術(shù)棧始于RTMP/FLV，目前RTMP/FLV成為了一個(gè)標(biāo)準(zhǔn)，其機(jī)制是通過(guò)流式傳輸，再通過(guò)協(xié)議棧不斷優(yōu)化，目前的延時(shí)在1-2秒左右。 HLS、CMAF、RTMP/FLV這三種技術(shù)都存在自身天花板的局限，縱觀(guān)業(yè)界另一個(gè)領(lǐng)域：實(shí)時(shí)音視頻領(lǐng)域，WebRTC的延時(shí)可以做到很低，但其不足的是直播房間人數(shù)會(huì)受到限制。 騰訊云利用WebRTC技術(shù)推出的快直播應(yīng)用，可以將直播延時(shí)降低到1秒以?xún)?nèi)，目前在其他一些產(chǎn)品上也實(shí)現(xiàn)了超低延時(shí)的需求。 未來(lái)隨著直播技術(shù)的發(fā)展，將會(huì)出現(xiàn)越來(lái)越多低延時(shí)交互場(chǎng)景的需求，WebRTC有可能成為新一代低延時(shí)直播的標(biāo)準(zhǔn)。 2.3 停課不停學(xué)，站在“云”的肩膀上

從技術(shù)的發(fā)展來(lái)看，上圖中最下方的標(biāo)準(zhǔn)直播，從推流的接入-轉(zhuǎn)碼-中間處理-CDN分發(fā)，整體延時(shí)在3-10秒，這套標(biāo)準(zhǔn)直播流程是目前主流的直播技術(shù)。 騰訊云通過(guò)WebRTC的代理實(shí)現(xiàn)了快直播應(yīng)用，其本質(zhì)是將直播的后半段用WebRTC協(xié)議和JitterBuffer的特性替換RTMP/FLV等推拉流的方式，這樣做的優(yōu)點(diǎn)在于可以支持H5播放器，支持低延時(shí)準(zhǔn)實(shí)時(shí)音視頻的應(yīng)用，同時(shí)提供WebRTC的SDK可以集成在觀(guān)眾端的APP上，以實(shí)現(xiàn)與WebRTC瀏覽器同樣的體驗(yàn)效果。 圖中最上層是基于RTC架構(gòu)，存在一定人數(shù)上限的低延時(shí)大型直播的技術(shù)方案，在強(qiáng)互動(dòng)場(chǎng)景得到了廣泛的應(yīng)用。 以上三種方案未來(lái)可以根據(jù)不同的需求選擇對(duì)應(yīng)的解決方案。 2.4 騰訊課堂“極速版”效果

騰訊課堂“極速版”應(yīng)用到快直播架構(gòu)，受到很多學(xué)生和老師的喜愛(ài)，作為主推線(xiàn)路使用。據(jù)反饋，騰訊課堂在使用過(guò)程中的平均延時(shí)在500毫秒左右，因此在疫情期間，快直播用量得到了百倍增長(zhǎng)，產(chǎn)品依賴(lài)智能選路的調(diào)度系統(tǒng)，實(shí)現(xiàn)了高穩(wěn)定性和高容災(zāi)能力的低延時(shí)直播系統(tǒng)需求。 3.在線(xiàn)協(xié)同，將改變企業(yè)工作方式

在疫情期間，視頻會(huì)議得到了很大的發(fā)展，傳統(tǒng)的視頻會(huì)議已經(jīng)滿(mǎn)足不了廣大用戶(hù)的接入需求，有很多基于互聯(lián)網(wǎng)應(yīng)用的新型輕量級(jí)的視頻會(huì)議紛紛出現(xiàn)并迎來(lái)很大用戶(hù)增長(zhǎng)。 3.1 騰訊會(huì)議高速發(fā)展的背后

騰訊會(huì)議產(chǎn)品推出兩個(gè)月的時(shí)間，日活賬戶(hù)數(shù)量過(guò)千萬(wàn)，為了抗擊疫情，騰訊會(huì)議面向全國(guó)免費(fèi)提供300方會(huì)議能力，作為底層支撐平臺(tái)，騰訊云不斷地進(jìn)行擴(kuò)容和技術(shù)支持，滿(mǎn)足了疫情期間對(duì)于視頻辦公的需求。 正是基于騰訊云多年在音視頻技術(shù)方面的積累，才能在短時(shí)間內(nèi)推出這款高品質(zhì)產(chǎn)品。目前騰訊會(huì)議的國(guó)際版—VooV Meeting已經(jīng)在全球100多個(gè)國(guó)家和地區(qū)上線(xiàn)，架起了中國(guó)企業(yè)與外國(guó)企業(yè)之間溝通的橋梁。 3.2 騰訊會(huì)議針對(duì)視頻和音頻的優(yōu)化

對(duì)于騰訊會(huì)議隱藏的底層技術(shù)優(yōu)化，在很多音頻、視頻的處理方面都優(yōu)化到了極致。 3.2.1 音頻領(lǐng)域的超分-帶寬擴(kuò)展

音頻是視頻會(huì)議最重要的組成，也是最核心優(yōu)化的點(diǎn)，相比于PSTN的音質(zhì)，騰訊會(huì)議無(wú)論從音質(zhì)或是去噪部分，都應(yīng)用了黑科技元素，這使得騰訊會(huì)議的音頻質(zhì)量有很大的提升。同時(shí)，騰訊云將算法壓縮到最小，以便在客戶(hù)端完成部署。 3.2.2 降噪語(yǔ)音增強(qiáng)

在降噪方面，針對(duì)不同場(chǎng)景進(jìn)行不同噪聲消除，同時(shí)結(jié)合了深度學(xué)習(xí)算法和傳統(tǒng)信號(hào)處理的算法，將PESQ提升0.3-0.5，STOI提升0.1-0.2，在特定場(chǎng)景下降噪能力得到了很大的提升。 3.3 超強(qiáng)網(wǎng)絡(luò)適應(yīng)能力及流控

關(guān)于視頻會(huì)議下的弱網(wǎng)問(wèn)題，除了傳統(tǒng)處理方式之外，騰訊會(huì)議還對(duì)音頻進(jìn)行了更多的優(yōu)化，使用帶內(nèi)FEC+PLC的丟包恢復(fù)技術(shù)，在弱網(wǎng)情況下，音頻部分得到了較大提升，在視頻卡頓的情況下可以做到在音頻丟包80%的情況下，語(yǔ)音依然自然流暢。同時(shí)應(yīng)用SVC技術(shù)，視頻端質(zhì)量可以適配不同網(wǎng)絡(luò)的終端，讓不同能力的終端可以享受到能力上限的體驗(yàn)感受。 3.3.1 配套的質(zhì)量監(jiān)控有助于產(chǎn)品質(zhì)量快速提升

除了局部技術(shù)的優(yōu)化之外，騰訊會(huì)議還有很多配套的質(zhì)量監(jiān)控手段，端到端的全鏈路監(jiān)控運(yùn)營(yíng)工具可以幫助用戶(hù)在平常處理較常見(jiàn)的異常情況，通過(guò)異常反饋不斷優(yōu)化接入點(diǎn)或調(diào)度的能力，快速提升產(chǎn)品質(zhì)量。 3.3.2 微信小程序，讓會(huì)議足夠輕

微信小程序是騰訊會(huì)議較為亮點(diǎn)的入口工具，騰訊會(huì)議的傳播和入口體驗(yàn)都較為加分，目前在微信小程序中可以使用live-pusher或live-player標(biāo)簽調(diào)用RTC的mod，即可在微信小程序中實(shí)現(xiàn)準(zhǔn)RTC服務(wù)，騰訊會(huì)議同樣應(yīng)用了該能力，通過(guò)小程序讓用戶(hù)更方便的接入。除此以外，小程序因?yàn)榛炝餍阅茉驘o(wú)法實(shí)現(xiàn)本地更多方的音頻和視頻的接入，騰訊會(huì)議通過(guò)云端MCU和混音引擎把音頻與視頻在云端進(jìn)行混合處理再推送到小程序，使得性能與網(wǎng)絡(luò)帶寬都得到很大提升，從而保證小程序入會(huì)體驗(yàn)達(dá)到普通終端要求。 3.3.3 騰訊云實(shí)時(shí)音視頻通信

騰訊云實(shí)時(shí)音視頻通信產(chǎn)品在疫情期間得到了很大發(fā)展，例如騰訊會(huì)議，在一周內(nèi)完成緊急擴(kuò)容100萬(wàn)核的巨量擴(kuò)容體系，最高峰突破1000萬(wàn)PCU，日通話(huà)分鐘數(shù)突破30億。 3.4 視頻制作在線(xiàn)化，足不出戶(hù)協(xié)同創(chuàng)作

疫情期間有很多視頻創(chuàng)作者以及直播工作者無(wú)法正常線(xiàn)下辦公，由于騰訊云豐厚的前期技術(shù)積累，這些技術(shù)在騰訊云的云導(dǎo)播臺(tái)、云剪輯等都得到了很廣泛的應(yīng)用。 3.4.1 騰訊云導(dǎo)播解決演播在線(xiàn)協(xié)同

由于復(fù)課需求，很多在線(xiàn)教育機(jī)構(gòu)需要將優(yōu)質(zhì)課程資源分發(fā)給各大視頻平臺(tái)，通過(guò)騰訊云導(dǎo)播項(xiàng)目可以解決優(yōu)質(zhì)資源快速分發(fā)等問(wèn)題。可以在云導(dǎo)播平臺(tái)實(shí)現(xiàn)音視頻軌道的切換、特效疊加等效果，未來(lái)也會(huì)向智能化和多人協(xié)同的方向發(fā)展。

除此之外，騰訊云還推出了云剪服務(wù)，在疫情期間這項(xiàng)服務(wù)也得到廣泛應(yīng)用，可實(shí)現(xiàn)輕量化的Web在線(xiàn)編輯，可以實(shí)現(xiàn)較為初級(jí)的處理能力，未來(lái)也會(huì)增加更加智能化和多人協(xié)作能力。 3.4.2 騰訊云剪解決方案在線(xiàn)視頻制作的智能化和協(xié)作需求

騰訊云剪目前已經(jīng)在和很多公司合作，例如云剪支持SaaS的“一鍵換皮”，一些客戶(hù)希望可以完整部署云剪的SaaS產(chǎn)品在自己的專(zhuān)有云上，可以使用”一鍵換皮”的方式更換logo、顏色、風(fēng)格模板等。 另外云剪也支持公有云Paas方案，目前與虎牙的合作，提供了內(nèi)嵌的騰訊云剪編輯器到虎牙主播助手中，支持主播在直播結(jié)束后可以快速編輯視頻進(jìn)一步分發(fā)。 4. 直播帶貨正當(dāng)時(shí)

由于疫情的原因，越來(lái)越多的網(wǎng)紅大V開(kāi)始接觸直播帶貨，同時(shí)越來(lái)越多的線(xiàn)下電商平臺(tái)以及微信內(nèi)小型電商平臺(tái)都開(kāi)始將直播作為基礎(chǔ)功能，搬進(jìn)其應(yīng)用中。 4.1 騰訊云直播帶貨產(chǎn)品框架圖

騰訊提供的小程序云直播插件在疫情期間得到了非常廣泛的應(yīng)用，可以支持目前微信生態(tài)中很多電商的小程序，可以使用小程序插件的方式集成直播功能，進(jìn)一步結(jié)合IM能力，即可快速構(gòu)建小程序直播應(yīng)用，實(shí)現(xiàn)完整的電商帶貨能力。 4.2 騰訊云小程序直播插件在電商場(chǎng)景的應(yīng)用

直播帶貨場(chǎng)景在小程序的實(shí)現(xiàn)背后有很多的技術(shù)綁定：

場(chǎng)景化的定制方案：將騰訊云的IM產(chǎn)品和直播、線(xiàn)上點(diǎn)贊、優(yōu)惠券推送等功能集成在一起，實(shí)現(xiàn)完整的場(chǎng)景定制方案。

支持多平臺(tái)直播互通：不僅在微信小程序內(nèi)可以打開(kāi)和關(guān)閉直播觀(guān)看，同樣也可以與APP進(jìn)行互通，因此，很多電商平臺(tái)就可以輕松構(gòu)建APP+小程序的一體化電商直播。

基于微信生態(tài)高效傳播與轉(zhuǎn)化：很多電商應(yīng)用通過(guò)群組和朋友圈的社交裂變，可以很便捷的實(shí)現(xiàn)小程序直播的快速傳播。

4.3 騰訊視頻云小程序直播插件

據(jù)統(tǒng)計(jì)，小程序電商直播方案相較于普通APP，可以帶來(lái)2倍以上的轉(zhuǎn)化率提升，用戶(hù)的流量和使用頻率都更大，活躍用戶(hù)次日留存率提升將近35%，在小程序中以輕量化方式構(gòu)建直播帶貨，下單速度可以提升將近2.28倍。 5. 沉浸式多媒體技術(shù)

沉浸式多媒體技術(shù)在疫情期間迎來(lái)了在線(xiàn)營(yíng)銷(xiāo)的新機(jī)遇，疫情期間無(wú)法實(shí)現(xiàn)車(chē)、房等大件的線(xiàn)下購(gòu)物，因此騰訊云利用沉浸式多媒體技術(shù)將其搬到了線(xiàn)上。 5.1 線(xiàn)上沉浸式營(yíng)銷(xiāo)新場(chǎng)景

如上圖是沉浸式全景空間體驗(yàn)結(jié)合營(yíng)銷(xiāo)場(chǎng)景的介紹，在展會(huì)中基于點(diǎn)云技術(shù)之上的沉浸式多媒體的應(yīng)用，再結(jié)合線(xiàn)上文字和視頻解說(shuō)，可以給用戶(hù)帶來(lái)身臨其境的觀(guān)展體驗(yàn)。另外，可以通過(guò)音視頻在線(xiàn)通訊能力，實(shí)現(xiàn)真人客服講解。 與騰訊云合作的貝殼如視，在疫情期間實(shí)現(xiàn)云代看應(yīng)用，其用戶(hù)轉(zhuǎn)化率和使用時(shí)長(zhǎng)比傳統(tǒng)圖文介紹效率高很多。 線(xiàn)上汽車(chē)銷(xiāo)售場(chǎng)景，全景車(chē)內(nèi)和3D外觀(guān)演示，再疊加圖文介紹和實(shí)時(shí)音視頻通信，實(shí)現(xiàn)真人在線(xiàn)銷(xiāo)售。 5.2沉浸式媒體解決方案的關(guān)鍵技術(shù)

關(guān)于沉浸式媒體解決方案的關(guān)鍵技術(shù)介紹是必不可少的，在采集端，目前點(diǎn)云數(shù)據(jù)的采集仍依賴(lài)于傳統(tǒng)相機(jī)的采集，越來(lái)越多的手機(jī)、ipad也開(kāi)始支持點(diǎn)云的拍攝和采集。后臺(tái)處理涉及空間建模的拼接、空間深度推算、物體三維建模等專(zhuān)業(yè)的沉浸式多媒體算法內(nèi)容。 基于騰訊云強(qiáng)大的音視頻及通訊能力，快速接入沉浸式代看、沉浸式客服坐席、沉浸式視頻講解、沉浸式實(shí)時(shí)通訊等營(yíng)銷(xiāo)能力，可以快速實(shí)現(xiàn)相應(yīng)功能。 5.3沉浸式媒體解決方案主要解決的技術(shù)問(wèn)題

騰訊云和騰訊多媒體實(shí)驗(yàn)室也做了很多技術(shù)儲(chǔ)備和研究，點(diǎn)云涉及海量數(shù)據(jù)及計(jì)算問(wèn)題，例如大量點(diǎn)的集合、6DOF數(shù)據(jù)和靜、動(dòng)態(tài)的千萬(wàn)級(jí)的數(shù)據(jù)量，如何利用這些數(shù)據(jù)實(shí)現(xiàn)高維數(shù)據(jù)生成、三維場(chǎng)景重建以及相關(guān)數(shù)據(jù)的存儲(chǔ)和管理等，都是我們主要的技術(shù)課題。 6. 在線(xiàn)娛樂(lè)需求井噴下的云游戲發(fā)展

疫情期間，用戶(hù)都是居家隔離狀態(tài)，以致于游戲需求呈現(xiàn)井噴式增長(zhǎng)。因此，云游戲發(fā)展迎來(lái)了歷史性拐點(diǎn)。 6.1 云游戲在多端開(kāi)始應(yīng)用落地

如上圖是一些騰訊云云游戲的應(yīng)用和進(jìn)展，目前已經(jīng)對(duì)很多設(shè)備完成了很好的適配，例如將PC端的網(wǎng)游搬到手機(jī)端實(shí)現(xiàn)，在TV端、Web端也已經(jīng)完成了對(duì)很多網(wǎng)游大作的適配。

云游戲的發(fā)展中，底層計(jì)算技術(shù)具有不可忽視的重要作用，包括大計(jì)算量的畫(huà)面渲染和編解碼，需要使用到GPU虛擬化技術(shù)，利用底層服務(wù)引擎進(jìn)行游戲適配，以及大規(guī)模的性能提升、數(shù)據(jù)計(jì)算等的應(yīng)用。 邊緣計(jì)算也是不可或缺的技術(shù)，云游戲的要求是低延時(shí)甚至超低延時(shí)，未來(lái)在公有云上的邊緣計(jì)算，甚至5G時(shí)代的運(yùn)營(yíng)商邊緣EC點(diǎn)，都需要使用底層資源。在此之上構(gòu)建的容器化的平臺(tái)、云游戲引擎以及音視頻的編解碼、渲染等，才可實(shí)現(xiàn)高性能、低延時(shí)的云游戲。 傳輸部分，低延時(shí)音視頻通訊能力非常重要，需要使用到資源的調(diào)度管理、高性能的JS-API/SDK集成技術(shù)。 6.2 Tencent-RTC技術(shù)

騰訊云的Tencent-RTC技術(shù)在云游戲中保證了低時(shí)延，高質(zhì)量的視頻展示效果。 6.3 云游戲未來(lái)發(fā)展趨勢(shì)

云游戲未來(lái)的發(fā)展趨勢(shì)：

云游戲體驗(yàn)趨向于原生化，精品的原生云游戲誕生是標(biāo)志著云游戲技術(shù)的成熟。

趨向底層應(yīng)用定制化，過(guò)去的云游戲使用的是通用型計(jì)算服務(wù)器，未來(lái)隨著云游戲的發(fā)展，將會(huì)誕生越來(lái)越多的定制化專(zhuān)用云游戲服務(wù)器。

云游戲會(huì)結(jié)合越來(lái)越多的場(chǎng)景，起到流量分發(fā)的作用，通過(guò)云游戲的試玩帶動(dòng)原生游戲的下載，將云游戲與直播、短視頻、廣告場(chǎng)景無(wú)縫結(jié)合

騰訊云希望可以通過(guò)一體化的云游戲平臺(tái)幫助客戶(hù)高效、低成本獲取云游戲技術(shù)能力，讓云游戲成為未來(lái)游戲的基礎(chǔ)設(shè)施。 7. 騰訊云視頻產(chǎn)品全景圖

在疫情之下，危機(jī)催熟了在線(xiàn)行業(yè)的應(yīng)用，很多應(yīng)用都是由音視頻技術(shù)的驅(qū)動(dòng)，目前騰訊云視頻的產(chǎn)品已經(jīng)涵蓋了方方面面，背后依賴(lài)的是騰訊云視頻技術(shù)以及上層一體化的解決方案。