眼看用戶視頻的增長(zhǎng)將超過(guò)服務(wù)器的算力上限，既沒(méi)有額外的服務(wù)器來(lái)支持，也不能對(duì)用戶體驗(yàn)造成大的沖擊，Instagram的工程師找到了兩種編碼過(guò)程中重復(fù)計(jì)算的部分，并將他們合二為一，如此便可節(jié)省可觀的算力。他們是如何做到的呢？

作者：Ryan Peterman, Haixia Shi

譯者：核子可樂(lè)

在對(duì)效率的不斷追求當(dāng)中，Instagram的工程師們開(kāi)發(fā)出一種新的視頻處理方法，能夠?qū)⒒A(chǔ)視頻編碼的耗時(shí)縮短94%。

有了這種方法，Meta的視頻基礎(chǔ)設(shè)施無(wú)需添加更多設(shè)備即可吸納更多負(fù)載。

由此釋放出的資源，可讓更多用戶觀看高清編碼流，提供更加清晰流暢的視頻體驗(yàn)。這對(duì)網(wǎng)絡(luò)連接不佳國(guó)家/地區(qū)的用戶尤其有益。

Instagram的用戶群體不斷增長(zhǎng)，目前月度活躍用戶已超20億。受眾的迅速擴(kuò)張也要求我們的服務(wù)器集群提供更好的性能體驗(yàn)。2021年初，我們的預(yù)測(cè)表明在未來(lái)12個(gè)月內(nèi)，現(xiàn)有基礎(chǔ)設(shè)施已經(jīng)不足以消化所有用戶的視頻上傳負(fù)載。但憑借對(duì)效率的不斷追求，Instagram在工程師們開(kāi)發(fā)出一種新的視頻處理方法，無(wú)需向視頻基礎(chǔ)設(shè)施內(nèi)添加更多設(shè)備即可吸納更多負(fù)載。

Instagram會(huì)為用戶上傳的視頻創(chuàng)建多種編碼版本，不同版本間各有特性。而只要利用一種類型的視頻編碼輔助生成另一種類型，即可將觀看次數(shù)較少的視頻所占用的編碼計(jì)算資源減少94%。由此釋放出的更多資源可用于生成更多高清編碼視頻流，讓更多用戶獲得更清晰、更流暢的播放體驗(yàn)。

Instagram如何分配視頻計(jì)算資源

對(duì)于上傳至Instagram的每段視頻，我們都會(huì)為其生成兩種視頻編碼版本：

基礎(chǔ)編碼，能夠適配所有Instagram客戶端，其壓縮率較低、可以在較陳舊的設(shè)備上順暢解碼和播放。

高級(jí)編碼，使用更新的壓縮技術(shù)以提升播放質(zhì)量。

問(wèn)題在于，其中基礎(chǔ)視頻編碼占用了我們超過(guò)八成的計(jì)算資源儲(chǔ)備。如果繼續(xù)沿著這個(gè)路線發(fā)展，那么基礎(chǔ)編碼功能將在一年內(nèi)耗盡Instagram的全部資源。到那個(gè)時(shí)候，用戶上傳視頻后需要等待更長(zhǎng)時(shí)間才能完成發(fā)布，甚至根本無(wú)法正常發(fā)布。相比之下，我們的高級(jí)編碼只占總觀看時(shí)長(zhǎng)的15%，預(yù)計(jì)將所有算力都花在基礎(chǔ)編碼上之后，高級(jí)視頻編碼將沒(méi)有任何資源可用。

移除冗余工作負(fù)載

對(duì)于其中的基礎(chǔ)視頻編碼部分，Instagram又具體劃分出兩種類型。對(duì)于每段上傳視頻，我們首先會(huì)生成最基礎(chǔ)的自適應(yīng)碼率（ABR）版本，也就是最低功能類型。這樣一來(lái)，客戶就可以選擇最適合當(dāng)前連接速度的版本，防止帶寬波動(dòng)導(dǎo)致的畫(huà)面卡頓——所謂的自適應(yīng)碼率就是這個(gè)意思。

另外一種則是很少用到的漸進(jìn)式編碼（另一種最低功能類型），我們同樣會(huì)持續(xù)生成這個(gè)版本，以保證其與無(wú)法支持ABR的舊版Instagram應(yīng)用相兼容。

傳統(tǒng)上，我們從客戶端上傳至后端的原始文件會(huì)分別對(duì)應(yīng)ABR和漸進(jìn)式編碼兩個(gè)版本。這個(gè)進(jìn)程會(huì)占用計(jì)算資源——如以下終端命令所示，將23秒長(zhǎng)的視頻轉(zhuǎn)碼為720p，共需要86.17秒的CPU時(shí)間。

$ time ffmpeg -i input.mp4 -vf scale=-1:720 -c:v libx264 output.mp4
86.17s user 1.32s system 964% cpu 9.069 total

我們注意到，這兩組編碼具有相似的設(shè)置——使用相同的編解碼器，只是編碼配置文件和預(yù)設(shè)略有區(qū)別。于是我們意識(shí)到，完全可以用漸進(jìn)式編碼的視頻幀替換掉基礎(chǔ)ABR編碼，也就是將其重新打包為支持ABR的文件結(jié)構(gòu)。如此一來(lái)，也就消除了生成基礎(chǔ)ABR編碼所對(duì)應(yīng)的成本。以下終端命令表明，生成manifest文件并將視頻幀重新打包為相同輸入視頻且支持ABR格式的文件結(jié)構(gòu)，只需要0.36秒：

$ time MP4Box -add input.mp4 -dash 2000 -profile dashavc264:onDemand -out manifest.mpd 
video_output.mp4
0.36s user 2.22s system 95% cpu 2.690 total

這種方法省出了高級(jí)編碼所占用的算力，犧牲掉的則是我們基礎(chǔ)ABR編碼的壓縮效率。但我們認(rèn)為，提高高級(jí)編碼的生成比例對(duì)于Instagram用戶而言應(yīng)該是好事。

建立框架，驗(yàn)證我們的理論

在投入生產(chǎn)之前，我們得先驗(yàn)證這個(gè)理論。如果單純比較基礎(chǔ)ABR編碼在變更前后的占比區(qū)別，并不足以得出有意義的結(jié)論。我們還需要衡量高級(jí)編碼占比增加后的凈值。從下圖可以看到，從基礎(chǔ)ABR中釋放出算力之后，用戶觀看高級(jí)編碼視頻的時(shí)間確實(shí)更長(zhǎng)了。這應(yīng)該足以抵消我們發(fā)明的新基礎(chǔ)ABR算法犧牲掉的壓縮效率。

為了做出進(jìn)一步量化，我們還構(gòu)建了一套測(cè)試框架，其中的測(cè)試池和控制池復(fù)制了一小部分用戶流量。我們將各個(gè)池內(nèi)的視頻編碼保存至不同的命名空間，稍后作為視頻控制目錄或測(cè)試目錄中的一部分。這樣在交付時(shí)，人們就只能看到來(lái)自其中某一目錄的編碼，幫助我們衡量新的編碼方案是否更好。

在此次測(cè)試中，我們證明雖然測(cè)試池中基礎(chǔ)ABR編碼的壓縮效率有所下降，但高級(jí)編碼視頻的觀看時(shí)間變得更長(zhǎng)、足以抵消這部分損失。

推向生產(chǎn)

在上線這項(xiàng)優(yōu)化后，我們的基礎(chǔ)編碼與高級(jí)編碼視頻觀看時(shí)間有了顯著變化。新的編碼方案將基礎(chǔ)ABR編碼的生成成本降低了94%。憑借更多可用資源，我們能夠?qū)⒏呒?jí)編碼的觀看時(shí)間占比提升至33%。換句話說(shuō)，如今有更多Instagram用戶能夠體驗(yàn)到更清晰、更流暢的視頻內(nèi)容了。這對(duì)于網(wǎng)絡(luò)連接不佳國(guó)家/地區(qū)的用戶們尤其有益。

我們的工程創(chuàng)新探索永不止步，Instagram知道不斷增長(zhǎng)的用戶群體正對(duì)我們的服務(wù)器集群提出越來(lái)越高的要求。更多優(yōu)化即將發(fā)布，敬請(qǐng)關(guān)注！

編輯：黃飛

?