人們常說眼見為實，但在OC5大會上， Oculus 首席科學(xué)家邁克爾·亞伯拉什表示準(zhǔn)確的聲音渲染對創(chuàng)建可信VR體驗而言十分關(guān)鍵，而聲音渲染的關(guān)鍵地方是模擬環(huán)境及其聲學(xué)效果。

在題為“Oculus Quest的聲音設(shè)計”的OC5主題演講中，音頻設(shè)計總監(jiān)湯姆·斯默頓（Tom Smurdon）和軟件工程師彼得·斯特林（Pete Stirling）探討了如何為Oculus Quest和 Rift 創(chuàng)建高保真度的音頻體驗，并分享了一些即將登陸Audio SDK的未來技術(shù)。Oculus日前向我們分享了 Facebook Reality Labs的幕后工作，以幫助我們進(jìn)一步了解這些最新進(jìn)展。以下是小編的具體整理：‘

1. 深入問題

當(dāng)聲音在現(xiàn)實世界中產(chǎn)生時，它以復(fù)雜的方式與環(huán)境相互作用。物體的振動導(dǎo)致聲波在空氣中傳播，而墻壁，地板和天花板等表面會散射它們。所以聲音在到達(dá)我們耳朵之前就已經(jīng)發(fā)生了改變。我們聽到的聲音實際上是原始信號源在不同時間點傳來的一系列回聲總和。如果聲源可見，我們聽到的第一個聲音是直接聲，它沿著從聲源到聽者的最短路徑傳播。接下來，從附近表面反射的聲音將從各個方向到達(dá)聽者。我們將其稱之為早期反射聲。聲音的其余部分則是混響，它由一系列的延遲回聲（隨時間而平滑地衰減）組成。

在以前，大多數(shù)用于VR和游戲的音頻渲染系統(tǒng)只能準(zhǔn)確渲染直接聲。但令人驚訝的是，大多數(shù)房間的反射和混響聲遠(yuǎn)遠(yuǎn)超過直接聲。為了獲取更逼真的音頻，聲音設(shè)計師必須手動將混響區(qū)域添加到虛擬環(huán)境中的每個位置。這是一個耗時的過程，需要大量的參數(shù)調(diào)整，手動作業(yè)，以及專業(yè)知識才能實現(xiàn)好的結(jié)果。

Facebook Reality Labs（FRL）在17年一直在努力創(chuàng)造高質(zhì)量的聲學(xué)模擬技術(shù)，令其可以根據(jù)環(huán)境的幾何形狀自動生成反射和混響。今天，映維網(wǎng)想向大家分享FRL音頻團隊的研究人員是如何解決這個問題。

2. 研究團隊

Facebook Reality Labs音頻研究團隊（從左右到）：菲利普·羅賓遜（Philip Robinson）， 塞巴斯蒂安·加里（Sebastia V. Amengual Gari），卡爾·席斯勒（Carl Schissler）和拉維什·梅赫拉（Ravish Mehra）

四年前，當(dāng)研究團隊經(jīng)理拉維什·梅赫拉在FRL創(chuàng)立音頻團隊時，他設(shè)想過創(chuàng)建一個虛擬音頻在感知上與現(xiàn)實音頻無法區(qū)分的虛擬世界。他知道為了實現(xiàn)這個未來，他必須解決的第一階研究問題是高質(zhì)量的空間音頻和高效的房間聲學(xué)。在接下來的幾年里，他開始進(jìn)行大量的研究工作以解決空間音頻問題，同時尋找合適的人才加入以解決房間聲學(xué)問題。

梅赫拉表示：“解決房間聲學(xué)問題的計算成本非常高，我知道準(zhǔn)確模擬環(huán)境的聲學(xué)效果仍然不夠。我們提出的任何方法都需要滿足實時VR應(yīng)用程序提出的嚴(yán)格計算和內(nèi)存限制。”

2017年夏天出現(xiàn)了一個獨特的機會，當(dāng)時卡爾·席斯勒剛剛完成了他在北卡羅來納大學(xué)教堂山分校的博士學(xué)位。席斯勒曾在FRL音頻團隊度過了兩次暑期實習(xí)（梅赫拉是他的實習(xí)導(dǎo)師），而他非常適合成為開放式房間聲學(xué)首席研究員。

席斯勒解釋道：“我是去年開始在Facebook Reality Labs工作，當(dāng)時我接受的任務(wù)是創(chuàng)建一個可以實時模擬所有這些復(fù)雜聲學(xué)的系統(tǒng)。從我很小的時候起，我就想為游戲創(chuàng)建更好的音頻。那時候，我會通過在聲音效果中添加混響來修改我最喜歡的游戲。多年后，我很高興現(xiàn)在終于有機會研究這種可能會對VR音頻質(zhì)量產(chǎn)生巨大影響的技術(shù)。”

由研究科學(xué)總監(jiān)菲利普·羅賓遜領(lǐng)導(dǎo)的心理聲學(xué)小組也在項目中發(fā)揮了關(guān)鍵作用。博士后研究科學(xué)家塞巴斯蒂安·加里進(jìn)行了一項實驗，以確定聲學(xué)模擬的什么方面對準(zhǔn)確模擬而言最為重要。憑借扎實的心理聲學(xué)基礎(chǔ)，F(xiàn)RL音頻團隊能夠?qū)π乱纛l技術(shù)進(jìn)行感知評估，從而為未來的研發(fā)提供信息。

3. 計算資源挑戰(zhàn)

對于聲學(xué)的真實模擬而言，最大障礙是其所涉及的計算復(fù)雜性。行業(yè)存在一系列基于數(shù)值波解算器或幾何算法的現(xiàn)有模擬技術(shù)，但它們都不支持在當(dāng)前硬件上實時運行。它們需要快速的多核CPU或GPU，但即使是這樣，它們一次也只能模擬少量聲音源。添加一個游戲引擎并執(zhí)行各種圖形，物理，AI和腳本，你可以看到獲取必要數(shù)量的資源是多么困難。

避免這個問題的典型方法是：進(jìn)行長時間預(yù)計算以模擬每對聽者與聲源位置的聲學(xué)響應(yīng)。在運行時，可以向該數(shù)據(jù)插值每個聲源的響應(yīng)，并用于過濾聲源的音頻。實際上，這為復(fù)雜場景增加了大量數(shù)據(jù)。另一個缺點是，由于所有聲學(xué)響應(yīng)都是預(yù)先計算，因此不能出現(xiàn)改變聲音的任何動態(tài)場景元素。這意味著關(guān)上門都無法阻止你聽到聲音源，而可破壞的環(huán)境或用戶創(chuàng)建的環(huán)境則是完全不可能實現(xiàn)。

在FRL，我們面臨的挑戰(zhàn)是開發(fā)這樣一種方法：使用盡可能少的計算和內(nèi)存資源，并且同時能為復(fù)雜場景渲染高質(zhì)量音頻。標(biāo)準(zhǔn)很高，典型的游戲可能有數(shù)百個并發(fā)聲源需要模擬，所以計算預(yù)算非常緊張。另外，模擬需要是動態(tài)進(jìn)行，以便能夠?qū)崿F(xiàn)最廣泛的沉浸式音頻體驗，同時不受長預(yù)計算時間的影響。

4. 音頻創(chuàng)新

為了解決這一挑戰(zhàn)，席斯勒花了將近一年的時間來完善模擬引擎。他指出：“我必須利用我能想到的所有技巧和優(yōu)化方式來構(gòu)建具有所需功能的系統(tǒng)。”

為了有效計算聲音在3D環(huán)境中的傳播，研究人員利用了先進(jìn)的射線追蹤算法。傳統(tǒng)的聲線追蹤需要每秒追蹤數(shù)百萬條射線，而這需要大量的計算。

席斯勒開發(fā)的優(yōu)化功能可以在保持高質(zhì)量和動態(tài)場景元素的同時大幅減少射線數(shù)量。使用隨機射線追蹤時最大的問題是，存在可能導(dǎo)致偽音的噪聲。為了解決這個問題，研究人員開發(fā)了巧妙的降噪算法來濾除模擬結(jié)果中的噪聲。

當(dāng)場景中的聲源數(shù)量增大時又會出現(xiàn)另一個大問題。在一個簡單的實現(xiàn)中，計算時間將根據(jù)聲源數(shù)量成比例地增加。令新技術(shù)可行的關(guān)鍵進(jìn)步之一是，感知驅(qū)動的動態(tài)優(yōu)先級與聲源集群系統(tǒng)。通過開發(fā)能夠?qū)⒉恢匾蜻h(yuǎn)距離聲源集中在一起的智能啟發(fā)式算法，研究人員能夠在非常復(fù)雜的場景中顯著縮短計算時間。

5. 提升沉浸感

利用FRL開發(fā)的創(chuàng)新方案，研究人員能夠?qū)崿F(xiàn)項目的最初目標(biāo)，并且為由空間音頻技術(shù)（Spatial Audio Tech）負(fù)責(zé)人羅伯特·海特坎普（Robert Heitkamp）領(lǐng)銜的Oculus Audio SDK團隊提供工作原型。在OC5大會上，音頻設(shè)計總監(jiān)湯姆·斯默頓和軟件工程師彼得·斯特林介紹了這個系統(tǒng)。在演講期間，浸淫游戲音頻行業(yè)多年的斯默頓談到了這一原型：“即便什么都看到，你都會知道自己什么時候站在墻邊。你可以感受到一切，這非常不可思議。我對他們現(xiàn)在所取得的進(jìn)展感到非常興奮和高興。”

席斯勒補充說：“當(dāng)你第一次在VR中聽到逼真的音頻模擬時，你將會為它對沉浸感的提升程度感到驚訝。真實的音頻渲染甚至可以發(fā)揮協(xié)同作用，令視覺效果看起來更好。”

6. 靈活創(chuàng)造性

團隊在開發(fā)這項技術(shù)時的主要目標(biāo)之一是，為聲音設(shè)計人員提供支持，幫助他們能夠輕松地在VR中創(chuàng)建逼真的音頻體驗。 他們還希望為美術(shù)提供參數(shù)，幫助他們實現(xiàn)創(chuàng)作愿景。席斯勒指出：“有時候你不希望它聽起來100％真實。在對話過程中，你可能希望降低混響的數(shù)量，從而確保可以理解角色的意思。這項新技術(shù)擁有如此靈活性。”

現(xiàn)在，設(shè)計師不必為每個房間設(shè)置復(fù)雜的參數(shù)集，只需要為幾何圖形指定材質(zhì)屬性即可。模擬的動態(tài)特性也有利于內(nèi)容創(chuàng)建者：美術(shù)可以在模擬運行時調(diào)整參數(shù)，與預(yù)計算的聲學(xué)模擬相比，這大大減少了迭代次數(shù)。

7. 未來任務(wù)

隨著FRL音頻團隊已經(jīng)實現(xiàn)了開發(fā)高效仿真引擎的目標(biāo)，現(xiàn)在他們正致力于改進(jìn)技術(shù)以模擬其他聲學(xué)現(xiàn)象。有一系列的聲學(xué)現(xiàn)象目前難以模擬，如衍射和透射。團隊接下來的目標(biāo)是研究能有效計算這些效果的新方法。席斯勒表示：“我希望我們能夠繼續(xù)推進(jìn)發(fā)展音頻領(lǐng)域的先進(jìn)技術(shù)。我為所有游戲都能擁有這種級別音頻保真度的那一天感到興奮。”

在OC5的主題演講中，邁克爾·亞伯拉什描述了為VR和AR生成逼真音頻而必須解決的問題。除了房間聲學(xué)模擬之外，空間音頻的另一個挑戰(zhàn)是頭相關(guān)傳遞函數(shù)（HRTF）的個性化實現(xiàn)，以針對每位用戶定制3D空間線索的方式生成音頻。亞伯拉什解釋說，HRTF的個性化問題可能需要比預(yù)期更長的時間才能解決。從好的方面來說，在實際可用的HRTF個性化能夠?qū)崿F(xiàn)之前，納入對環(huán)境的聲學(xué)模擬可能有助于提升沉浸感。