這是一件關(guān)系到我們所有人的事情：討論天氣。近年來，在這方面可供討論的話題似乎越來越多了，既有猛烈的颶風(fēng)和創(chuàng)記錄的高溫，也有引發(fā)洪水的大雨和肆虐的山火。

The Weather Channel電視網(wǎng)為美國觀眾提供專業(yè)的天氣預(yù)報和分析已有近40年之久。最近這家公司希望找到吸引和教育觀眾的新方式，它在2018年與The Future Group共同創(chuàng)作了關(guān)于閃電和龍卷風(fēng)的沉浸式混合現(xiàn)實特別節(jié)目，當(dāng)年晚些時候又制作了關(guān)于風(fēng)暴潮和山火的節(jié)目。

這些一次性播出的節(jié)目具有極強的沉浸感，因此吸引了新聞界的大量報道，而它們讓觀眾真切理解危險天氣的作用也廣受好評——其中一檔節(jié)目甚至贏得了艾美獎。但是，它們都要花費大量時間來策劃和編排，而且雖然運用了虛幻引擎提供的實時渲染功能，卻不能實時播出：它們都是在播出前幾個小時錄制的，還要經(jīng)過后期剪輯。

如果The Weather Channel能把沉浸式混合現(xiàn)實（IMR）放進他們每天的預(yù)報中，又會怎樣？以此為目標(biāo)，在2020年6月2日，這家電視臺首次推出了新的IMR天氣演播室。

新的演播室擴展了實體空間，使得演播室一半是實體的，另一半是虛擬的，主持人能夠在這兩部分之間無縫地移動。虛擬部分的邊界有一塊玻璃幕墻，它可以降下來，讓主持人走進幕墻后面顯示的虛擬環(huán)境，從而使他們能展示“外面”的天氣，乃至走進相應(yīng)的空間。

虛擬環(huán)境會發(fā)生改變來反映主題，例如，如果颶風(fēng)臨近就會變成海濱，如果主題是面向滑雪者的雪情預(yù)報就會變成山地。為了讓演播室中顯示這些環(huán)境，有一個團隊負責(zé)從遍及全國的50個關(guān)鍵地點拍攝HDR影像。

“這種工具有不可思議的價值，它幫助我們強化了講故事的能力。”The Weather Channel的天氣演示總監(jiān)Mike Chesterfield說，“大家非常欣賞這些內(nèi)容——他們會感到自己身臨其境，因為這真是太逼真了。”

這個演播室還利用實時天氣數(shù)據(jù)驅(qū)動3D圖表和條形圖，甚至能在虛擬城市上展示一系列動畫3D混合現(xiàn)實天氣元素——雨、云、太陽、閃電等——來播出七天預(yù)報。用戶只要點擊一個按鈕就能調(diào)出一個100英尺的顯示屏，或者借助一個巨大的3D虛擬地球，真正展示全球范圍的天氣系統(tǒng)。

“這是我第一次在美國的信息網(wǎng)絡(luò)中看到真正實用的全日制虛擬演播室投入使用。”Chesterfield說，“我們正在做全新的天氣預(yù)報工作，而且都是實況直播。”

幕后揭秘：技術(shù)考察

這家電視臺負責(zé)將各種實時元素集成到虛擬環(huán)境中的資深技術(shù)美術(shù)Warren Drones解釋了這一切是如何實現(xiàn)的。

在這個演播室的流程中，有一套使用攝像機和綠幕布景的傳統(tǒng)廣播設(shè)置，而與它同時運行的是Zero Density的Reality Engine和Reality Keyer，前者是一種基于虛幻引擎的實時廣播合成系統(tǒng)，后者被Zero Density稱為全世界第一種也是僅有的一種在GPU上工作的基于圖像的實時摳像器。色度摳像是對整個背景假設(shè)一種顏色值，而基于圖像的摳像是將拍攝的視頻與空背景對比，從而能夠保留微妙的透明度細節(jié)和陰影。

為了給移動的攝像機創(chuàng)建空背景，Reality Keyer提供了創(chuàng)建綠幕大風(fēng)景畫幕背景的虛擬版本的功能，將拍攝的實體綠幕布景的影像映射到這個數(shù)字化副本上。然后將來自攝像機的跟蹤數(shù)據(jù)（這家電視臺使用Mo－Sys系統(tǒng)）輸入這個節(jié)點中，使系統(tǒng)能夠為每一幀畫面創(chuàng)建空背景。

虛擬演播室的靜態(tài)元素主要是根據(jù)先前的實體演播室繪制的；事實上，團隊掃描了各種實體素材以確保完美吻合。道具在3ds Max中創(chuàng)建，并通過FBX導(dǎo)入虛幻引擎中。對于環(huán)境元素，團隊使用大型的高質(zhì)量2D庫和3D Quixel Megascans，后者現(xiàn)已能夠在虛幻引擎中免費使用。

視覺特效美術(shù)師在虛幻引擎的Niagara視覺特效系統(tǒng)？中創(chuàng)建雨、雪、火、水等效果。動畫由Sequencer多軌道非線性編輯器驅(qū)動。通過API導(dǎo)入的實時天氣數(shù)據(jù)用于驅(qū)動3D圖表，甚至能使環(huán)境中降雨或太陽被云遮擋。

團隊廣泛使用了藍圖可視化腳本系統(tǒng)來編寫行為、腳本邏輯和觸發(fā)器事件。例如，在導(dǎo)演的指示下可以一鍵重新配置整個布景——而且實時播出。導(dǎo)演們還可以更改光照，切換到不同的饋送源，轉(zhuǎn)到新的機位等，這些操作都是實時進行的。

據(jù)Drones說，實時虛擬廣播改變了制作的面貌。與過去的做法相比，這種最新的虛擬內(nèi)容制作方法更有挑戰(zhàn)性，但同時也帶來了吸引觀眾的即時感。

“提供信息的敘事最好是以實時的方式進行。”他說，“你會希望演藝人員在提供最新信息的同時帶有真正的即時反應(yīng)，從而引起觀眾共鳴。預(yù)先錄制的視覺內(nèi)容限制了提供實時敘事的能力，這樣就無法保持圖像的相關(guān)性。我們新的實時虛擬演播室消除了這種限制。”

Drones在看過虛幻引擎5公布會后，對混合現(xiàn)實廣播的未來更是充滿激情。

“我被它驚呆了。”他說，“隨著時間推移，開發(fā)與3D圖形之間的門檻正在逐漸消失，但我認為在近期，其他任何軟件為消除這種門檻所做的貢獻都比不上虛幻引擎。虛幻5的公布無可辯駁地證明了這一點，我非常希望能聽到更多關(guān)于它的消息。”