3. 創建一個音樂世界

虛擬現實要求的幀率達到90fps，或者說每幀11毫秒。與之相比，傳統體驗的幀率為30FPS，而且在特定位置低于30FPS也不會造成重大影響。但虛擬現實卻非如此。VR實際上需要渲染兩個版本的場景，一個左眼一個右眼。盡管要求存在一定的例外，而且存在可以利用的輔助技巧，但毫無疑問的是VR對計算的要求十分嚴格。

我們為“Shapesong”設計了一系列特定的功能，而這對VR系統提出了更加嚴格的性能要求。從技術的角度來看，“Shapesong”是數字音頻工作站 （DAW） 和游戲在虛擬環境中的結合。這三者均對CPU提出了巨大的計算負擔。下面我們不妨來看看“Shapesong”中完全依賴于CPU性能的部分。

3.1 音頻處理

作為一款音樂游戲，“Shapesong”需要處理大量的音頻。除了對環境，玩家和UI聲音進行基準渲染以外，我們還會在不同時間段播放與樂器相關的聲音。事實上，多個樂器的平均音頻處理負載是基準（只演奏一件樂器時）的20倍。

這是樂器的幕后工作原理。如果你希望在樂器上演奏一個聲音（或者說一個音符），你需要播放這個音符的音頻片段。從某些方面來說，完整的鋼琴包含88個可以在特定時間內彈奏的不同琴鍵（或者說音符）。如果你在“Shapesong”中彈奏類似的虛擬樂器，你最多可以同時播放88個不同的音頻片段。然而，這是假設了每個音符在同一時間段只彈奏一個活動音符（或者說聲音），但對“Shapesong”而言情況并不總是如此。

除了基于音頻片段的樂器演奏方法外，我們還可以通過另一種方法來演奏樂器：聲音合成。但聲音合成不能代替采樣（sample），而且這需要獨特的處理負載。我們希望“Shapesong”能夠支持兩種方法，從而在彈奏音樂時可以實現最大的靈活性。

3.2 環境效果

我在上文已經提到，我們希望在“Shapesong”中實現視覺和音樂表演的結合，從而實現全新的音樂體驗。所以，播放的音樂需要與環境中的視覺效果保持同步。

大多數人認為游戲或體驗中的所有圖形都是由GPU渲染，但實際上CPU圖形渲染管道上扮演十分重要的角色，因為繪制調用是由CPU所執行。繪制調用本質上是指CPU確定圖形任務并將其發送到GPU的過程。總的來說，當存在需要繪制到屏幕的獨特任務時，系統將需要CPU執行繪制調用。

在Unity中，“Shapesong”引擎和繪制調用在一個名為“批量處理”的流程中得到了優化。批量處理采集相似的繪制調用，將它們聚集到單個調用，然后再發送至GPU，這能夠極大地節省計算時間。但Unity只有在特定條件下才會對調用執行批量處理，而其中一個條件是所有對象都共享相同的材料。另一個條件則是批量處理對象必須全部靜止，不能夠改變位置或以任何方式運動。對于靜態環境而言（比方說共享相同材料的200棵樹），批量處理的效果非常優秀。但如果你希望每一顆樹都對玩家輸入或音樂演奏產生獨特的響應，批量處理將無法起到相同的作用。

無論虛擬世界是否需要響應音樂，這對創建栩栩如生的虛擬世界而言提出了巨大的挑戰。如果無法移動或改變某個場景中的對象，我們應該如何令這個場景變得栩栩如生呢？現實情況是，你不得不權衡需要進行生動演示的部分，而且在實現方式上發揮自己的創意（這也是游戲開發所普遍面臨的一個長期問題）。正如我在前文所說，傳統體驗和下一代體驗的區別在于用戶的期待。

3.3 物理對象

要實現一個栩栩如生的虛擬世界，我們不僅需要在環境中添加動畫，我們還要根據大家早已習以為常的物理定律來設計動畫。事實上，你甚至可以認為當前的VR系統不是真正的VR系統，它們只是疊加了一層虛擬世界的增強虛擬。為什么這么說呢？因為盡管在VR中看到了虛擬環境，但我們依然站在物理世界中，受所有物理世界的自然規律所束縛。重點是，如果你希望創建一個無縫的自然體驗，同時不破壞這種幻覺，你將需要確保虛擬世界的物理與現實世界相匹配。

我們希望在“Shapesong”中創建一種自然的體驗，能夠支持用戶利用環境中的對象進行演奏，并以此來探索音樂環境。例如，當用戶撿起一塊石頭并在池塘上打水漂時，我們希望石頭滑過水面時會播放音符；或者說當用戶往下拍球時，球體下落時會出現音高的變化。這樣做的目的是，以一種不令人膽怯的方式來鼓勵非專業人士進行音樂探索。

盡管在游戲引擎中啟用物理并非是難于登天，但成本極其高昂，對CPU資源的消耗也十分可觀。物理系統不僅需要逐幀計算受物理約束的對象的新位置，同時還需要檢測對象與其余環境的接觸。隨著這種物理支持的對象和相接觸對象的數量增多，成本也將隨之增加。

3.4 表演錄制

令“Shapesong”與眾不同的一點是，用戶可以自行錄制表演。我們希望表演錄制能夠充分利用VR及其運行系統的功能。以往在通過數字音頻工作站錄制音樂時，你只能捕捉彈奏的音符，系統不能捕捉手指演奏琴鍵的動作，也無法捕捉頭部的擺動。但音樂的重點不僅只是你所彈奏的音符，你所彈奏的方式同樣是十分重要的組成部分。

我們記錄了用戶的所有輸入，并將它們制作成一段可以通過虛擬化身實現的動畫。當用戶錄制一次表演的時候，他們基本上是克隆自己在特定時間段內的活動。對于彈奏樂器，這意味著克隆你在演奏音樂時的一切行為。對于其他，這意味著克隆你與環境的交互，你的跳舞，或者僅僅只是打招呼這一動作。

盡管錄制一場表演不會消耗太多的資源，但播放表演卻會恰恰相反，尤其在以表演規模進行播放時。例如，一首歌的某一節中可能同時彈奏了四種或五種樂器，而這期間可能同時包含一定的視覺表演，如跳舞或與環境中對象進行交互。因此，用戶在典型演奏中的任意時刻可能會播放10個或以上的演奏錄制。每一個角色都有三個部分需要錄制：左手，右手和頭部。我們同時追蹤了角色所握持的對象，以及這些對象的狀態。在典型環境中，播放的對象或屬性總計至少有100個，而每一幀都需要對它們進行處理。