眼看用戶視頻的增長將超過服務器的算力上限，既沒有額外的服務器來支持，也不能對用戶體驗造成大的沖擊，Instagram的工程師找到了兩種編碼過程中重復計算的部分，并將他們合二為一，如此便可節省可觀的算力。他們是如何做到的呢？

作者：Ryan Peterman, Haixia Shi

譯者：核子可樂

在對效率的不斷追求當中，Instagram的工程師們開發出一種新的視頻處理方法，能夠將基礎視頻編碼的耗時縮短94%。

有了這種方法，Meta的視頻基礎設施無需添加更多設備即可吸納更多負載。

由此釋放出的資源，可讓更多用戶觀看高清編碼流，提供更加清晰流暢的視頻體驗。這對網絡連接不佳國家/地區的用戶尤其有益。

Instagram的用戶群體不斷增長，目前月度活躍用戶已超20億。受眾的迅速擴張也要求我們的服務器集群提供更好的性能體驗。2021年初，我們的預測表明在未來12個月內，現有基礎設施已經不足以消化所有用戶的視頻上傳負載。但憑借對效率的不斷追求，Instagram在工程師們開發出一種新的視頻處理方法，無需向視頻基礎設施內添加更多設備即可吸納更多負載。

Instagram會為用戶上傳的視頻創建多種編碼版本，不同版本間各有特性。而只要利用一種類型的視頻編碼輔助生成另一種類型，即可將觀看次數較少的視頻所占用的編碼計算資源減少94%。由此釋放出的更多資源可用于生成更多高清編碼視頻流，讓更多用戶獲得更清晰、更流暢的播放體驗。

Instagram如何分配視頻計算資源

對于上傳至Instagram的每段視頻，我們都會為其生成兩種視頻編碼版本：

基礎編碼，能夠適配所有Instagram客戶端，其壓縮率較低、可以在較陳舊的設備上順暢解碼和播放。

高級編碼，使用更新的壓縮技術以提升播放質量。

問題在于，其中基礎視頻編碼占用了我們超過八成的計算資源儲備。如果繼續沿著這個路線發展，那么基礎編碼功能將在一年內耗盡Instagram的全部資源。到那個時候，用戶上傳視頻后需要等待更長時間才能完成發布，甚至根本無法正常發布。相比之下，我們的高級編碼只占總觀看時長的15%，預計將所有算力都花在基礎編碼上之后，高級視頻編碼將沒有任何資源可用。

移除冗余工作負載

對于其中的基礎視頻編碼部分，Instagram又具體劃分出兩種類型。對于每段上傳視頻，我們首先會生成最基礎的自適應碼率（ABR）版本，也就是最低功能類型。這樣一來，客戶就可以選擇最適合當前連接速度的版本，防止帶寬波動導致的畫面卡頓——所謂的自適應碼率就是這個意思。

另外一種則是很少用到的漸進式編碼（另一種最低功能類型），我們同樣會持續生成這個版本，以保證其與無法支持ABR的舊版Instagram應用相兼容。

傳統上，我們從客戶端上傳至后端的原始文件會分別對應ABR和漸進式編碼兩個版本。這個進程會占用計算資源——如以下終端命令所示，將23秒長的視頻轉碼為720p，共需要86.17秒的CPU時間。

$ time ffmpeg -i input.mp4 -vf scale=-1:720 -c:v libx264 output.mp4
86.17s user 1.32s system 964% cpu 9.069 total

我們注意到，這兩組編碼具有相似的設置——使用相同的編解碼器，只是編碼配置文件和預設略有區別。于是我們意識到，完全可以用漸進式編碼的視頻幀替換掉基礎ABR編碼，也就是將其重新打包為支持ABR的文件結構。如此一來，也就消除了生成基礎ABR編碼所對應的成本。以下終端命令表明，生成manifest文件并將視頻幀重新打包為相同輸入視頻且支持ABR格式的文件結構，只需要0.36秒：

$ time MP4Box -add input.mp4 -dash 2000 -profile dashavc264:onDemand -out manifest.mpd 
video_output.mp4
0.36s user 2.22s system 95% cpu 2.690 total

這種方法省出了高級編碼所占用的算力，犧牲掉的則是我們基礎ABR編碼的壓縮效率。但我們認為，提高高級編碼的生成比例對于Instagram用戶而言應該是好事。

建立框架，驗證我們的理論

在投入生產之前，我們得先驗證這個理論。如果單純比較基礎ABR編碼在變更前后的占比區別，并不足以得出有意義的結論。我們還需要衡量高級編碼占比增加后的凈值。從下圖可以看到，從基礎ABR中釋放出算力之后，用戶觀看高級編碼視頻的時間確實更長了。這應該足以抵消我們發明的新基礎ABR算法犧牲掉的壓縮效率。

為了做出進一步量化，我們還構建了一套測試框架，其中的測試池和控制池復制了一小部分用戶流量。我們將各個池內的視頻編碼保存至不同的命名空間，稍后作為視頻控制目錄或測試目錄中的一部分。這樣在交付時，人們就只能看到來自其中某一目錄的編碼，幫助我們衡量新的編碼方案是否更好。

在此次測試中，我們證明雖然測試池中基礎ABR編碼的壓縮效率有所下降，但高級編碼視頻的觀看時間變得更長、足以抵消這部分損失。

推向生產

在上線這項優化后，我們的基礎編碼與高級編碼視頻觀看時間有了顯著變化。新的編碼方案將基礎ABR編碼的生成成本降低了94%。憑借更多可用資源，我們能夠將高級編碼的觀看時間占比提升至33%。換句話說，如今有更多Instagram用戶能夠體驗到更清晰、更流暢的視頻內容了。這對于網絡連接不佳國家/地區的用戶們尤其有益。

我們的工程創新探索永不止步，Instagram知道不斷增長的用戶群體正對我們的服務器集群提出越來越高的要求。更多優化即將發布，敬請關注！

編輯：黃飛

?