聽覺是VR體驗(yàn)中不可或缺的一部分，真正沉浸式的體驗(yàn)除了視覺外也要讓聽覺符合場(chǎng)景的設(shè)定。為了幫助開發(fā)者更方便的創(chuàng)造自然的立體音效，HTC Vive推出了3DSP音頻SDK。

3DSP是一款音頻SDK，可以為應(yīng)用程序提供具備空間音效的音頻。影響人類對(duì)于音頻空間化感知的因素有很多，比如聲音傳入兩只耳朵的時(shí)間差，兩耳之間的水平差異，人體耳廓、頭部等部位的差異、環(huán)境因素（例如房間聲音反射和混響）以及從聲源發(fā)出聲音到人耳接收到聲音之間遇到的障礙物阻擋，都會(huì)影響人的聽感。

為了讓用戶在VR中聽到的聲音盡可能的真實(shí)，就需要考慮到聲音發(fā)出到被聽到之間的種種因素，讓VR中的聲音盡可能接近真實(shí)空間中人們聽到的聲音，以增加從沉浸感。

高階Ambisonics(高保真立體聲）

傳統(tǒng)的雙聲道立體聲利用兩個(gè)揚(yáng)聲器，通過(guò)人的雙耳效應(yīng)使聲音達(dá)到空間立體的效果。

而隨著技術(shù)的不斷進(jìn)步，在VR中我們常用一種音頻技術(shù)Ambisonics，相當(dāng)于讓聲源遍布球狀的內(nèi)表面，環(huán)繞用戶的頭部。

Ambisonics使用“球諧函數(shù)”描述聲場(chǎng)，使聲音從四面八方傳來(lái)，帶來(lái)更好的沉浸感。

不過(guò)迄今為止簡(jiǎn)易的基本型Ambisonic系統(tǒng)只能在一個(gè)中心位置創(chuàng)建一個(gè)精確的聲場(chǎng)。隨著聽眾遠(yuǎn)離中心并隨著頻率的增加，誤差水平逐漸增加。

為了減少誤差，可以采用增加球面的階數(shù)來(lái)描述更加復(fù)雜的諧波。

HTC在對(duì)3DSP SDK的展示中便展示了3階Ambisonics模型。

房間音頻

當(dāng)用戶處在虛擬房間中時(shí)，就要考慮房間的復(fù)雜情況，對(duì)聲音做出相應(yīng)處理。

3DSP從早期反射、后期混響、背景噪聲、環(huán)境材料等方面模擬房間音頻，讓用戶獲得更具空間感的聲音。值得一提的是，3DSP同時(shí)保證了該技術(shù)在低計(jì)算量的情況下運(yùn)行，減少設(shè)備的計(jì)算負(fù)擔(dān)。

距離模型

空間中真實(shí)傳播的聲音會(huì)隨著傳播距離的增長(zhǎng)而發(fā)生衰減，但是在不同的情況下衰減的變化是不同的。

在HTC Vive 3DSP SDK中，提供了幾種情況下聲音的衰減模型，采用基于現(xiàn)實(shí)建模的距離模型。

阻塞效應(yīng)

當(dāng)聲音從聲源發(fā)出遇到障礙物再被用戶聽到的時(shí)候，會(huì)因?yàn)檎系K物的阻擋而發(fā)生改變。

分析物體的幾何特點(diǎn)來(lái)計(jì)算遮擋物對(duì)聲音的遮擋能力。

為了計(jì)算障礙物的遮擋能力，是通過(guò)在空間中投射大量射線，并列舉有多少被障礙物遮擋。

無(wú)需使用Unity對(duì)撞機(jī)，根據(jù)不同障礙物的具體面積以及形狀計(jì)算得到聲源經(jīng)過(guò)障礙物后被聽眾聽到的實(shí)際情況。

其他特性

除了上述的幾點(diǎn)外，HTC Vive 3DSP SDK還具備以下特性

·基于對(duì)真實(shí)世界精確建模(包括水平和垂直方向)的頭相關(guān)變換函數(shù)(HRTF)，可以得到適用于所有聲音的濾波器進(jìn)而還原空間音頻。

·原聲和回放均采用高分辨率音頻。