計算機圖形學是支持各種影視特效、三維動畫影片、計算機游戲、虛擬現實以及大家手機上各種照片視頻美化特效背后的技術基礎，在本文中，微軟亞洲研究院網絡圖形組深入解釋了圖形學的現狀、發展和未來。

談及“計算機圖形學”，可能很多人會覺得很有距離感，或者和計算機視覺、圖像處理等學科混淆。但是，如果告訴大家圖形學技術是支持各種影視特效、三維動畫影片、計算機游戲、虛擬現實以及大家手機上各種照片視頻美化特效背后的技術基礎，相信大家都不會再覺得陌生。

在計算機誕生后，如何在計算機中有效地表達、處理以及顯示三維信息，很快變成了計算機應用研究中的一個重要問題。針對這一需求，計算機圖形學在二十世紀六十年代應運而生。在過去的幾十年中，計算機圖形學得到了長足的發展，并深深地影響了很多產業的發展和人們的生活、工作和娛樂方式。

在硬件上，圖形學的發展催生了專用圖形處理器GPU(graphics processing unit)的產生與普及。在軟件上，圖形學的基本繪制流水線已成為操作系統的一部分，為各種計算機平臺提供顯示和圖形處理。應用上，圖形學催生了影視特效、三維動畫影片、數據可視化、計算機游戲、虛擬現實、計算機輔助設計和制造等一系列產業，并為這些產業的發展提供了核心技術和算法支持。

作為一個計算機應用學科，計算機圖形學的內涵和外延在過去幾十年里也在不斷地演進和擴展。如果我們回顧計算機圖形學年會ACMSIGGRAPH上過去十幾年發表的論文，一方面會驚嘆其中紛雜精彩的研究題目和每篇文章作者的奇思妙想，另一方面也難免感到有些迷失，似乎圖形學僅僅是在不斷追求新奇和炫目的視覺效果。這是在一個快速發展的應用學科中很多剛入門的學者都會有的困惑。

圖形學研究的核心是什么？推動圖形學發展的動力是什么？未來，隨著計算機圖形學的進一步發展，哪些應用場景將呼之欲出？伴隨著這些新的應用場景、需求的出現，我們面臨的技術挑戰又是怎樣的？在這篇文章中，我們試著對圖形學的現狀、發展和未來做一些思考，并嘗試一一回答這些問題。

計算機圖形學研究與應用現狀

圖形學的核心科學問題是在計算機中有效的表達和處理三維世界的各種屬性。圖形學所處理的三維信息既包括物理真實世界中的三維信息，也包含我們人類大腦通過想象產生的虛擬的三維信息。計算機圖形作為一個中介，提供了這兩個世界在計算機中的一個共同的表達和信息交流渠道。

在計算機圖形學誕生之前，物理學家和數學家已經對真實三維世界進行了長期的研究，把我們觀察到的世界有效的解構為核心的一些物理量和他們之間相互作用的規律。如圖1所示，傳統的圖形學受物理學和數學啟發，將三維對象分解為幾何、表觀、行為或者動態三種屬性。其中幾何描述三維對象的幾何形狀；表觀描述三維對象的材料光照屬性以及材料如何和光相互作用；行為則表達了一個三維對象的動態特性從而決定了對象的運動和其他物體的交互行為。

在這個基礎上，針對不同對象特性和應用要求的不同，圖形學研究中具體的三維對象又可以大致分為物體、人（包括類人的角色character）以及環境三部分。

針對這些三維對象的不同三維信息（幾何、表觀、行為），我們把圖形學的研究方向和技術也可以大致分為三個大類：

一是獲取和建模。主要研究如何有效地構建、編輯、處理不同的三維信息在計算機中的表達，以及如何從真實世界中有效地獲取相應的三維信息。這既包括三維幾何建模和幾何處理這一研究方向，也包含材質和光照建模、人體建模、動作捕捉這些研究課題。

二是理解和認知。主要研究如何識別、分析并抽取三維信息中對應的語義和結構信息。這個方向有很多圖形學和計算機視覺共同感興趣的研究課題，如三維物體識別、檢索、場景識別、分割以及人體姿態識別跟蹤、人臉表情識別跟蹤等。

三是模擬和交互。主要研究如何處理和模擬不同三維對象之間的相互作用和交互過程。這既包含流體模擬和物理仿真，也包含繪制、人體動畫、人臉動畫等方面的研究。

在應用層面，圖1中最外環黑色字展示了計算機圖形學的經典應用場景，圖形學的早期發展來源于使用計算機設計真實世界產品的需求，如汽車外形。因此，計算機輔助設計和制造成為了計算機圖形學在真實世界的核心應用場景。隨著圖形學的發展，創建虛擬場景實現人類的想象，成為了圖形學在虛擬世界的核心應用場景，產生了游戲、影視特效等應用場景。隨著相機的普及，圖片和視頻的編輯也成為圖形學中一個重要的橫跨虛擬世界和真實世界的重要應用。

有了上面的”洋蔥“結構，我們就可以對每一個圖形學論文或者研究熱點，通過其研究對象、三維屬性和所屬技術對其進行歸類，比如繪制（Rendering）算法的研究是對場景的表觀屬性進行模擬和交互的研究：算法通過研究光與環境的交互作用，生成真實感的圖像。

對計算機圖形學發展模式的回顧和思考

回顧和思考過去幾十年來圖形學的發展，我們發現圖形學研究的核心對象和科學問題并沒有發生根本性的變化。但是技術和三維信息的表達卻在不斷的發展更新。而這些技術的發展往往發端于新的硬件設備的出現和普及。

如圖2所示，新的硬件設備的出現一方面往往引發了新的應用需求，或使得某個應用的技術成本急劇的下降。另一方面帶來了新的數據和技術問題，從而引發了新的研究方向和技術，推動了對圖形對象表達的更新和研究方法的更新。而這些技術的發展又反過來進一步推動了硬件的發展和應用的普及，從而帶動整個領域的快速迭代發展。光柵化圖形顯示技術的出現，GPU圖形學流水線的提出，可編程GPU的出現，三維掃描儀的出現，圖像采集設備的出現和普及，是過去幾十年圖形學發展幾次浪潮的背后緣起。

這里我們以基于圖像的繪制和光場表達的出現為例對上述的發展模式做一個分析。傳統圖形學中，所有的研究對象和屬性基本是基于物理表達。在這一表達下，幾何和物理過程成為了各個研究方向的基礎。

從20世紀后期開始，隨著圖像捕捉設備的快速發展，人們有機會對真實世界進行大量的圖像采集。這些大量的圖像一方面需要研究者研發有效的圖像編輯，分析和解構技術。另一方面，也使得研究者開始探索是否可以拋開背后的物理機制，直接基于三維世界的這些觀察建立新的表達。由此催生了基于全光函數的表達和基于圖像的繪制技術。

這里，全光函數是一個高維函數，記錄了在一個三維場景的任意一點（x,y,z）沿任給方向(θ,Φ)，在某一時間t,在每一波長λ上的光強。在真實世界中，雖然每種我們可以觀察到的視覺現象都可以解構為以上的三維基本屬性及其相互作用，但是我們的人眼和圖像傳感器可以觀測到的卻是光線，即全光函數（PlenopticFunction）（x,y,z,θ,Φ,t,λ）的一個采樣。

圖像的表達和繪制技術的進步，催生了計算攝像學的發展，反過來促進了新的攝像設備的誕生和發展，并進一步促進了圖形學中對全光表達函數的采樣與重構、分析與編輯、認知與理解三個方向的研究。這一迭代發展過程，從根本上將三維信息的表達由基于物理的表達推廣到新的基于觀測的表達,從而拓展了研究方法，并將圖形學的研究領域從傳統三維幾何擴展到了圖像和視頻，并且和計算機視覺、圖像和視頻處理、光學成像等學科產生了新的交叉。

計算機圖形學的未來：設備和硬件

展望未來，我們認為，上述圖形學發展的模式還會繼續。硬件的發展和革新，會不斷促進了新的圖形技術和應用產生和迭代發展。在這個過程中，圖形學也在不斷地結合計算機視覺、光學、信號處理與機器學習等學科的最新研究成果，來解決圖形學中的研究問題。下面，我們就從各個層面對計算機圖形學的未來進行一些大膽的展望。

在硬件設備方面，我們認為下面的這些硬件會迎來新的發展并帶來圖形學技術和應用的革命性進展。

三維顯示。提供高分辨率，高動態范圍的全三維顯示。包括近眼的光場顯示設備，或者多焦平面顯示設備。或者遠場的全沉浸式的光場顯示設備。

深度相機。提供和現有的彩色相機相匹配的高分辨率，高幀率，低功耗，低噪聲的深度相機。

多自由度機械手和類人軟體機器人裝置。提供低成本，高精度，編程可控的多自由度機械手以及具有類人外形的軟體機器人。

三維打印機。提供同時支持多種打印材料，高精度，低價格，快速的三維打印。

IOT與傳感器。提供小型、省電、低成本的能測量真實世界各種物理參數的傳感器與實時的數據收集。

力學捕捉與反饋設備。提供精確的，具有高空間分辨率和力分辨率的觸覺輸入輸出。

計算機圖形學的未來：應用場景

隨著上述硬件設備的發展和普及，以及計算機視覺和機器學習技術的進步，圖形學的應用場景將得到更大的擴展。如圖1黃色高亮部分所示，面向真實世界，機器人和三維打印將成為新的應用場景。面向虛擬世界、虛擬現實，混合可視媒體將成為新興的應用場景，帶給人們更好的娛樂體驗，釋放人類的想象力。在真實世界和虛擬世界之間，增強現實將虛擬信息融合進真實世界，并增強人類在真實世界的體驗；數字化孿生則產生真實世界在虛擬世界的鏡像，方便我們更好地管理規劃真實世界。下面，我們將討論每個應用場景，和它們對相關圖形學技術的需求。

機器人

隨著機械硬件，傳感器設備以及人工智能技術的進步，多用途的機器人將逐漸被應用到不同的真實世界場景中，自動化或半自動化地幫助人類完成各種任務。自動駕駛可以被認為是這一場景中一個應用。機器人為了在不斷變化的三維場景中完成給定任務，不僅需要實時重建不斷變化的三維場景的幾何，還需要識別真實場景中的物體的類別和物理特性，從而預測物體的運動并決定自己的運動。同時，機器人自身也需要實時的動態模擬技術來準確地規劃和預測自己的運動，和環境中物體進行交互，從而最終完成任務。

三維打印

三維打印硬件的發展使得生產復雜幾何形狀和不同幾何形狀的成本顯著下降。和傳統的減材制造不同，三維打印可以精確地控制三維形體中每個體素的材質構成，從而可以產生更為豐富的設計和功能。為了支持三維打印，圖形學技術需要將設計與物理模擬更好地結合在一起，提供一體化的端到端解決方案。通過高效的計算模擬和逆向優化，幫助設計師和制造者快速地設計產品的三維形狀和內部材質分布，從而達到所需要的功能。

虛擬現實

虛擬現實技術作為一類新的媒體，提供了全新的沉浸式體驗，在教育、游戲等方面具有重要的應用。為了達到更好的虛擬現實體驗，我們不僅需要圖形學渲染技術的進步，也需要更好的物理模擬技術和交互技術，提供視覺外其他物理特性，如觸覺和聽覺的建模和實時渲染。更為根本的是，如何更加快速地生成高質量的三維虛擬內容，以及如何在虛擬環境中和不同的虛擬內容進行有效的交互，是虛擬現實應用得以成功和普及的關鍵。

增強現實

增強現實和混合現實系統通過將虛擬三維內容疊加在真實場景中，從而實現了虛擬信息和真實世界的融合，提高了人們在真實世界的工作效率，提供了個性化的環境和更好的生活體驗。某種程度上，可以將增強現實理解為新一代的精確GPS定位系統。它可以提供在場景中的實時精確三維定位和實時的三維地圖構建服務。為了實現這一目標，三維場景的實時捕捉建模（包括幾何、表觀、物理特性和行為），分析和理解將成為這一應用場景背后的核心技術。

數字化孿生

和增強現實將虛擬信息疊加在真實世界相反，數字化孿生嘗試建立真實世界在計算機中的虛擬鏡像，并實時地記錄預測真實世界的所有變化。結合IoT和傳感器技術的發展，數字化孿生技術將提供真實環境的完整數字化，從而實現對真實世界的高效信息分析和控制。同時，數字化孿生為將為機器學習技術提供更多的數據和訓練環境。為實現這一目標，我們需要研究更加有效的三維建模和捕捉技術，以及實時的物理模擬技術。

計算機圖形學的未來：技術挑戰

上文中，我們看到了未來計算機圖形學的應用場景，并討論了每個應用場景所需要的關鍵技術。這些需求也為圖形學的發展提出了一系列的研究問題與挑戰：

高效高質量的三維內容創作系統

雖然已有的圖形學算法和系統可以讓藝術家創作出具有高度真實感的虛擬環境和栩栩如生的人物及其動態，這一過程仍然需要大量時間、專業技巧以及昂貴復雜的設備。發展高效高質量的三維內容生成算法和創作系統是圖形學研究中一個永恒的任務，也是虛擬現實、數字化孿生以及新一代的混合媒體等應用場景得以實現的關鍵技術。

為了實現這個目標，我們需要在以下三個方面的研究取得突破：一是研發新一代的捕捉硬件系統和算法，使得普通用戶越來越容易從真實世界中快速地捕捉所需要的三維內容；二是利用三維內容屬性的本征屬性，從用戶的少量輸入如草圖、照片、視頻中構建符合用戶需求的三維內容；三是利用機器學習技術，如對抗神經網絡（GAN），直接從已有的大量數據中生成新的三維內容。

三維世界的實時理解與分析

實時地對我們所處的三維世界進行理解，識別出場景中物體和人，推斷物體和人之間的空間關系與約束，以及人的動作，是增強現實和機器人應用場景中的核心技術。

在計算機視覺領域，由于大量標注數據的出現和深度學習技術的發展，圖像和視頻的理解與分析工作取得了飛速的發展。但是三維世界的理解和分析工作仍舊處于起始階段。

一方面，三維內容由于獲取困難，可使用的標注數據少，數據噪聲大。另一方面，三維數據表達多樣、維度更高。這些特點也對三維世界的分析理解算法的實時性、魯棒性提出了更大的挑戰。如何研發適合三維內容的通用表達和機器學習算法，結合已有的圖片和視頻信息進行三維世界的理解和分析也是這一領域未來研究的重點。

大規模可擴展的實時模擬技術

在真實世界中，不同物體的運動和相互作用構成了世界復雜的動態。而在人類社會中，人的行為和交互則更為復雜。模擬這些復雜的動態和交互是圖形學中一個重要任務，也是三維打印、機器人、數字化孿生應用背后的重要技術支撐。現有的圖形學技術發展了一系列快速的技術來模擬環境、物體和人的運動和復雜交互。然而，這些算法仍然存在復雜性高、計算不穩定、收斂慢的問題。尋找適用于不同場景的更為通用的模擬算法，發展快速數值解法，將深度學習技術用來加速優化求解，以及利用增強學習技術進行運動的規劃都是這一領域下一階段的研究重點。

人機交互與圖形學的深度結合

隨著新型傳感器、穿戴設備、VR/AR/MR設備的迅猛發展，人們有著更多的方式與機器打交道。這些新的輸入輸出方式也為圖形學研究帶來新的挑戰。如何使用多元異構的數字輸入信息來指導生成符合用戶期望的三維影像與世界，如何針對不同設備設計便捷的輸入方式與交互手段，如何協同多用戶的操作并實時提供數字上和物理上的真實反饋、如何動態調整已有算法以適配用戶的不斷更新的個性化要求等問題，都值得圖形學研究者與從業者積極探討與深入研究。

計算機圖形學的未來：研究趨勢

通過上述內容，我們可以很容易地看到，每個新的圖形學應用場景都不可能由單一的一個圖形學技術來解決。為此，我們不僅需要在每個研究方向上進一步努力，更需要借鑒最新的機器學習技術和計算機視覺技術，以及本領域的其他研究方向的技術和算法，才能最終解決問題。

從基于物理和觀察的表達到基于學習的本征表達

現有的圖形學可以對單個三維對象的三維屬性進行有效的表達和處理。但是對于所有的三維對象構成的三維屬性空間，例如所有特定人造物體（椅子）的三維形狀空間,所有真實世界表面材質的空間，或一個場景中所有光照傳輸路徑的空間，我們仍然缺乏有效的研究和表達。隨著數據的增多和機器學習算法的應用，這方面的研究慢慢成為可能。這些研究會導致三維信息新的表達形式的出現，即基于機器學習的三維形狀、材質、行為等屬性空間的本征表達。這一表達會與傳統的基于物理的表達與基于觀測的表達共存。這一研究將成為圖形學的一個基礎理論問題，并對我們研發高效的三維內容建模、模擬和識別理解算法都具有極為重要的意義。基于這一全新的表達，在圖形學研究中，如何有效的結合這一全新的表達和已有的表達，如何形成不同表達間的映射與轉換，也會成為一個重要的研究問題。

在技術層，基于這一新的表達，機器學習技術將利用三維數據的本征屬性而不是物理屬性來解決三維內容捕捉、生成、處理和模擬問題。如何將機器學習技術有效地用于高維的三維圖形數據，結合用戶的交互輸入，是目前研究的熱點。進一步將原有基于物理的方法與機器學習的方法有效結合，充分利用兩者的優勢，也是圖形學研究中一個廣受關注和需要解決的重要問題。

從屬性的單一表達到屬性的統一表達與融合

現有的圖形學對不同的三維屬性（形狀、表觀、動態）具有各自單獨的表達和不同的處理方法。然而，一個三維對象（如物體）的表觀、形狀和行為并不是任意組合的，屬性之間也具有一定的約束和相關性。比如，一個木制的椅子由于材質的限制，其椅腿的粗細和細節不可能是任意的。而它的表觀、重量和可能的運動特性也與木頭材質屬性緊密相關。如何得到所有三維屬性更為簡潔一致的表達是圖形學研究中的一個基礎問題。

在技術和應用層面，針對每個特定的應用和問題我們研發了可用的算法和解決方案。然而，這些算法或工具集是彼此孤立的。在目前的實際應用中，我們需要具有領域知識的人將這些算法放在一起，輔以大量的人工和反復使用，調整修改每個工具的結果，反復迭代來達到最終的目標。舉例來說，為了設計一個像章魚爪子的軟體變形機械手，設計者可能需要先用造型軟件設計機器手外形，然后運行仿真模擬軟件計算力學特性。設計好后，再運行三維打印軟件進行制造。制造好以后，進行實際測試。由于每個模塊不知道最終的目標，由此帶來的誤差需要人工反復修改并重復這一過程。

為此，我們需要將不同的技術方案，如幾何設計、仿真模擬、三維打印等有機地集成到一起，將每一步的約束引入到其他算法中，并允許所有的算法在統一的逆向優化反饋框架下進行自動迭代，快速地生成滿足設計要求的結果。在最近幾年，越來越多的研究嘗試將不同的技術融合在一起，形成一個端到端的解決方案，這也成為了圖形學研究的一個趨勢。

從基礎工具集到智能系統的演進

圖形學技術的一個重要目標是將用戶的抽象設計意圖變成具體的三維對象。設計的最終目的是滿足一定的物理功能或故事情節的視覺展現。在功能和情節的約束下，最終得到美觀、成本合理的物理設計和視覺作品。目前，針對每個環節，已有的圖形學技術實現了基本的工具，可以幫助用戶完成形狀、表觀、動態等底層三維屬性特性的生成、編輯，以及物理特性的模擬。然而，由于圖形學的屬性和對象表達缺乏對物理功能和語義的有效描述，使得現有的圖形學技術工具集無法幫助用戶有效的將高層抽象的功能和情節描述轉化為具體的三維屬性和表達。隨著機器學習的引入，圖形學技術的集成和表達的融合，圖形學研究將慢慢從三維信息的基礎設計和表達工具向高層語義的目標進發，最終實現從用戶的高層語義描述自動生成三維內容的最終目標。

放眼未來，隨著計算機圖形學的進一步發展，計算機輔助設計和制造技術的進步，帶有傳感器的三維打印的個性化產品和機器人將被廣泛應用于人類的實際生活和現實世界中。而真實環境的數據化孿生也將在計算機中實時地監控著真實環境的動態變化，規劃協調機器人高效地完成不同任務。而在虛擬世界中，隨著內容創作工具的進步，每個人的藝術天分都可以得到充分發揮，從而自由地創建自己的虛擬世界、游戲和虛擬化身。隨著下一代的虛擬現實設備和增強現實設備的出現，真實和虛擬的世界會得到更好的融合，新一代的人類將不需要再區分真實世界和虛擬世界。人、計算機（機器人和虛擬世界）和真實的物理世界將和諧高效地融合在一起，帶給人類一個超現實的世界。

本文作者：微軟亞洲研究院網絡圖形組