XR虛擬演播廳的詳細拍攝流程
在虛擬制作中，首先重要的是快速且精準的攝像機追蹤系統，通過這套系統，我們可以以極低的延遲為代價，在虛擬系統中完整模擬真實攝像機的實時位姿和鏡頭參數，并將這些信息傳遞給渲染引擎，從而計算出正確的畫面并回傳。另一方面LED屏幕可以將大部分拍攝內容顯示在背景上，通過目前的SpatialMapping，也就是我們說的動態的Perspectivemaping，能將畫面以正確的透視關系呈現出來，并且和真實世界的人物和事物疊加在一起進行拍攝。
上面說的是一個MR的流程，此外還有AR層面的內容，即以同樣的方式，疊加在整個畫面的最前層，從而實現“現實層”，也就是剛才提到的真實人物和事物，同時疊加LED，也就是MR中的“后景”，以及AR中的“前景”的效果。并組合成完整的畫面。
XR虛擬拍攝這個流程是這樣理解的，以一幀畫面的生成為例，流程如下：
01、攝像機追蹤：把攝像機的各個參數回傳到disguise系統內，再傳輸到UE、Unity、Notch等引擎當中。
02、渲染引擎渲染：引擎收到攝像機數據后，在場景內模擬出相機的狀態，并根據這個狀態，渲染出攝像機拍攝的一幀畫面并回傳disguise系統。
03、disguise系統收到這一幀畫面以后，由于內部已經有了LED的精準模型，會根據攝像機的透視關系，把畫面拆成“MR”和“SetExtension”兩部分。并把MR的部分輸出給LED。
04、LED顯示出這一幀畫面之后，連同屏幕區域內的人物和事物，真實的攝像機會拍攝這一幀畫面，并把拍攝的一幀發送回disguise系統。
05、Disguise系統收到了拍攝的這一幀，再把剛才拆分畫面剩下的“SetExtension”貼回畫面。形成一整幀16：9的畫面。同時再在上面貼合AR畫面，并最終輸出。
06、這一整幀畫面終于呈現在團隊和觀眾眼前。

審核編輯 黃昊宇