電影虛擬化制作技術(shù)是近年來提出的一種新型影視制作技術(shù)，隨著其發(fā)展和創(chuàng)作需求的提升，電影虛擬化制作不斷推陳出新，制作方式也由最初的基于綠幕的虛擬化制作發(fā)展到近兩年最新提出的概念——基于LED背景墻的虛擬化制作技術(shù)。而攝影機跟蹤系統(tǒng)是虛擬化制作的前提。
基于LED背景墻的電影虛擬化制作技術(shù)（下稱“LED虛擬化制作”）是指在拍攝現(xiàn)場，通過攝影機跟蹤系統(tǒng)和實時渲染引擎，將渲染畫面顯示到LED背景墻上，演員在LED背景墻形成的環(huán)境中進行表演，從而實現(xiàn)拍攝時的“合成”。這一技術(shù)極大地提高了虛擬化制作的效率，降低拍攝風險，擺脫傳統(tǒng)拍攝過程中的諸多限制，為影視拍攝、賽事直播、廣告制作、大型演出等不同領(lǐng)域的創(chuàng)作者營造更加友好的創(chuàng)作環(huán)境。
攝影機跟蹤系統(tǒng)是電影虛擬化制作的基礎(chǔ)，在實際應用中，對于跟蹤系統(tǒng)的要求往往強調(diào)定位精確度、穩(wěn)定性、魯棒性和用戶創(chuàng)作的自由度。目前市面上已經(jīng)存在多種對于剛體進行姿態(tài)估計和運動跟蹤較為成熟的解決方案，考慮精度、重量、成本和適用環(huán)境等因素，基于視覺的攝影機跟蹤方案已經(jīng)成為目前進行虛擬化制作的熱門選擇。
并且隨著LED虛擬化制作技術(shù)的興起，人眼對于真實場景與虛擬背景的相對穩(wěn)定性更加敏感，同時攝影機自身的運動規(guī)律與普通剛體又存在著差異，再加上LED虛擬化制作環(huán)境帶來的動態(tài)變化使得基于視覺跟蹤的應用環(huán)境又重新面臨挑戰(zhàn)。
在真實的電影拍攝中，一個運動鏡頭由起幅、運動、落幅組成，其中運動鏡頭主要包括：推、拉、搖、移、跟、升、降、甩。攝影機在進行拍攝時可視為一個不會產(chǎn)生形變的剛體在進行歐式變換運動，這一運動的特點是無論位置和方向發(fā)生變換還是在不同坐標系下觀察同一個物體，它的長度、夾角、體積等形狀和大小都保持不變。在影視制作環(huán)節(jié)中，攝影機實際上是對人眼行為的模擬，攝影機拍攝呈現(xiàn)畫面的目標是觀眾，所以攝影機的運動往往有連續(xù)、平滑等特性。
對于具體的鏡頭運動行為，Dolly（推拉）、Pedestal（升降）、Truck（橫移），對應剛體位移運動中的沿物體正方向指向進行前后位移、沿物體縱軸方向指向進行上下位移、沿物體水平軸方向指向進行左右位移；Pan（橫搖）、Tilt（俯仰）、Roll（橫滾）對應剛體旋轉(zhuǎn)運動中的繞物體縱軸旋轉(zhuǎn)、繞物體水平軸向進行旋轉(zhuǎn)、繞物體正方向指向軸向進行旋轉(zhuǎn)。其中，對于Roll即橫滾運動，在影視攝影制作中較少涉及該類的鏡頭運動。因此對于剛體運動軌跡的優(yōu)化，則需要針對攝影拍攝時的運鏡規(guī)律進行重新配重與優(yōu)化。
現(xiàn)有的對剛體進行姿態(tài)估計的解決方法側(cè)重于通過提升觀測設(shè)備的刷新率以捕捉物體更加快速的變化，或提升觀測設(shè)備的分辨率以捕捉更加細節(jié)的變化和更加精準的3D特征點的定位精度。這些舉措都缺乏針對攝影機位姿變化和運動規(guī)律的的精準重建與優(yōu)化，更加適用于普通剛體，例如機器人或SLAM技術(shù)。然而過度的濾波平滑又會造成對攝影機動作還原的失真，因此選擇算法優(yōu)化適度的攝影機跟蹤系統(tǒng)同樣重要。
跟蹤設(shè)備選擇方面，因攝影機的跟蹤所關(guān)注的內(nèi)容是如何從像素坐標系還原回世界坐標系的位置，所以對目前常見的跟蹤解決方案進行分類，根據(jù)實現(xiàn)原理的不同可以分為由內(nèi)向外跟蹤及由外向內(nèi)跟蹤兩種方式。由內(nèi)向外跟蹤不需要外部傳感器或信標，被追蹤對象需要搭載不同的傳感器利用算法來獲取對象的精確位置，通常在由內(nèi)向外的位置跟蹤中，攝像機或傳感器位于被跟蹤的設(shè)備上，典型的由內(nèi)向外跟蹤設(shè)備有Ncam、Lightcraft、MoSys、RedSpy等；由外向內(nèi)跟蹤采用某種信標的任何方法都屬于外向內(nèi)跟蹤技術(shù)，通常采用光學跟蹤方式使用攝影機或其他傳感器放置在一個固定的位置，面向被追蹤的物體，典型的由外向內(nèi)跟蹤設(shè)備有Vicon、OptiTrack、HTC Vive等。

審核編輯黃宇