本文編譯自semiengineering

神經網絡負責圖形渲染，AI智能體指導玩法，而‘幻覺’則用于填補缺失的細節，讓游戲世界更加完整。

隨著處理性能和內存的大幅提升，以及數據傳輸速度的顯著加快，電子游戲正在借助人工智能創造出越來越逼真的場景和交互體驗。

GPU不再僅僅局限于圖形渲染，如今已廣泛應用于多種AI任務，包括生成更真實的非玩家角色（NPC）、動態世界、個性化玩法，以及關卡設計、內容生成和更精細的游戲機制。同時，系統也在利用機器學習工具，以更低的功耗執行諸如環境光遮蔽（ambient occlusion）之類的任務。

“過去玩家與游戲角色的互動主要是基于腳本的，”Imagination產品管理副總裁Kristof Beets表示?！澳阏f一句，他們回一句，整個流程非常線性?，F在借助AI的智能化，你可以和角色進行真正的對話。動畫也因AI而有了顯著提升。比如新的人形機器人是如何行走的？這是神經網絡的功勞。同樣的技術可以應用到游戲的物理和體驗中。通過AI可以帶來更多動態效果和更高的真實感。但這在很大程度上仍需要時間，因為越多的功能依賴AI，就意味著需要更多的計算資源。這始終是一種平衡。可以說正在出現一種持續的趨勢：把過去依賴蠻力和高昂成本的方式，轉化為借助神經網絡實現的模糊近似解——效果足夠好，而且非常有說服力?！?/span>

這種轉變在很大程度上得益于GPU不再需要每次都逐像素計算。“多數游戲會進行預測性分析，基本上是預先計算接下來的處理步驟，” Arteris首席營銷官Michal Siwinski表示。“這帶來了巨大的功耗開銷?！?/span>

為了抵消光線追蹤等特效帶來的高功耗（它能在游戲中生成逼真的陰影），業界引入了類似超分辨率（super resolution）的工具，其原理類似于AI網絡的“幻覺”機制?！澳銌査粋€問題，它會給出一個看似合理但并非真實的答案，” Beets解釋道?！霸贏I助手中，你不希望出現幻覺，它不能憑空捏造。但在圖形渲染中情況幾乎相反。如果你想到圖形渲染和細節補全，這正是你希望神經網絡去做的。它能補全一些合理的細節。這是關鍵所在——通過低分辨率渲染，避免做全部光線追蹤和高成本的計算，再用AI來填補空白?！?/span>

當然，AI也可能會出錯，比如生成條紋圖案，而真實圖像中并不存在。“但如果它看起來合理，并且在時間上保持穩定，那么就是合格的，” Beets說道?！皥D形渲染中最難的就是時間穩定性。你不希望AI在每一幀都編造不同的內容，否則畫面會閃爍和抖動。AI圖形超分辨率其實早于我們今天看到的AI搜索引擎和助手的爆發式發展。”

幀生成（Frame Generation）是另一項正在快速發展的功能。“玩家玩游戲時，我們希望它能運行在60幀/秒（FPS），”Imagination產品與戰略合作總監Tyrran Ferguson表示?！叭绻挥?0幀/秒，雖然肉眼勉強能接受，但感覺像在拖泥帶水。達到60幀或更高時，畫面才會流暢和美觀。幀生成的做法是在真實幀之間插入新幀，也就是‘偽造’畫面，從30幀提升到60幀。這里同樣會涉及幻覺問題。幀生成最早出現在桌面端，這是新興技術。業界正在探索如何優化它，讓玩家在幀與幀之間不會看到奇怪的畫面，就像光線追蹤最初也從桌面端開始一樣。一旦玩家習慣了這種功能，就會希望在移動端或GPU資源極其有限的場景中也能使用。未來在移動設備上做幀生成只是時間問題?！?/span>

“過去很多效果，比如景深或環境光遮蔽，都是通過非常復雜的著色器程序來實現的，” Beets表示?！艾F在我們可以訓練一個小得多的神經網絡，以近似相同的質量完成任務，而且在數據流方面的開銷要低得多。這就是NVIDIA所稱的‘神經著色器（neural shaders）’，即開始讓神經網絡接手這類工作?！?/span>

為游戲任務設計芯片

要設計適用于游戲的GPU，工程師必須在架構階段就深入理解存儲器的吞吐需求。

“設計人員需要明確他們將使用何種存儲器，以及該存儲器的吞吐能力，”Cadence驗證軟件產品管理高級總監Matthew Graham表示?！拔覀儽仨毚_保系統設計能夠充分利用這種吞吐。消費者花錢買了顯卡或游戲主機上最快的存儲器，我們就要確保芯片架構能發揮其最大效用。設計工具能夠分析復雜算法，從PCI Express獲取數據到圖形核心，再到存儲器——無論是用于圖形的DDR，還是用于AI的HBM——然后回到核心進行處理，再回傳到存儲器，最后到接口等一系列過程。”

關鍵在于確保數據端到端的功能正確性和一致性，同時傳輸速度要恰到好處。Graham形象地比喻道：“這不像是把一枚硬幣放進一個桶里，再把它取出來。而更像是把硬幣切成50片，放進10個不同的桶，再取出來，還要保證能把硬幣重新拼回去。這就是復雜系統的真實工作方式。比如一個4K視頻幀，玩家希望以120Hz（每秒120次）刷新率運行，這就是海量的數據。你不可能一次處理完所有數據，而是要切分處理，同時確保一致性和數據完整性。”

光線追蹤這類任務甚至可以在GPU內單獨設置計算核心。Imagination產品與戰略合作總監Tyrran Ferguson指出：“這樣能把任務分開處理，當運行光線追蹤工作負載時，就能通過GPU的獨立部分更高效地完成。”

GPU工作負載的分配方式取決于具體應用場景。Imagination產品管理副總裁Kristof Beets解釋說：“以游戲為例，一般先進行經典的圖形渲染，再用AI進行超分辨率放大。這意味著GPU的算力分配會從100%用于經典渲染，轉變為100%用于AI放大。這是一種基于時間的切片方式，能夠自然適配更高級的用例——也就是把傳統和AI技術深度融合。我們的重點是如何讓這種方式更高效，如何在芯片內部共享和留存數據。任務交錯是最有前景的方向。理論上你可以把GPU分成多個子單元，但最有效的方式還是給予客戶完全的靈活性：想100%做AI，就可以這么用；想100%做經典渲染，也能這么用。”

Synaptics技術與創新副總裁Dave Garrett補充說，GPU完全有能力應對這兩類任務。“一臺手機SoC可以先快速瀏覽相冊做人臉識別，然后立即切換到運行AI游戲或光線追蹤。‘暗硅’（dark silicon）的概念在其中發揮重要作用。過去我們常為不同任務專門設計硬件，后來AI提供了一種可編程框架，數據變化就能帶來不同結果，但底層引擎是相同的。”

ChipAgents創始工程師Daniel Rose則強調并行化和指令優化的重要性：“我們幫助AI加速器公司優化單顆GPU芯片的功耗利用率。當功耗更優化、面積更小，就能做出更強大的游戲芯片。在設計中，PPA（功耗、性能、面積）的取舍至關重要。”

未來，NPU（神經網絡處理單元）也可能在游戲中承擔更多AI/ML工作負載。Beets指出：“GPU的靈活性很強，現在已經能提供大量AI性能，但我們也在與NPU引擎深度協作。通常會在GPU和NPU之間加入一部分SRAM，這樣它們就能在芯片內共享和交換數據，有助于降低功耗。雖然仍有大量數據需要傳輸，但這是兩種處理單元協作的最佳方式。延遲尤為關鍵，你肯定不希望所有任務都繞過CPU和復雜的軟件棧?！?/span>

不過，定制芯片在可訪問性方面也面臨挑戰。Beets解釋道：“這個領域非常分散，每家廠商都有不同的實現方式。但游戲需要生態系統支持。最初PC顯卡市場有十幾家廠商，各自使用不同的編程模型，結果大部分都被淘汰，只剩下少數幾家巨頭，因為生態無法支撐。AI也會經歷類似的整合過程。尤其是AAA大作的開發成本極高，開發者不可能為不同平臺重復投入。現在你能看到PlayStation、Xbox、PC和移動游戲之間已經有很多交集，桌面游戲正在向移動端遷移，移動廠商也在進入桌面市場。大家都在努力擴展生態，而AI正是關鍵?！?/span>

在性能方面，主機與掌機的挑戰各不相同，原因在于硬件、功耗和設計上的差異。

Cadence Tensilica DSP產品管理與營銷總監Amol Borkar表示：“主機注重原始性能，能提供4K畫質、高幀率和光線追蹤等高級特性，但需要強大的散熱系統，功耗也很高。相比之下，掌機如Steam Deck和任天堂Switch則要在性能與便攜性之間找到平衡，受到電池續航、散熱管理和屏幕尺寸的限制。它們通常使用面向移動優化的芯片，并通過動態分辨率縮放來保證流暢體驗?！?/span>

無論是移動端還是主機，功耗和存儲都是關鍵。Rambus研究員兼首席發明家Steven Woo指出：“游戲的挑戰在于為用戶提供更加沉浸式的環境，提升真實感和情感共鳴。AI將助力實現這一目標，但同時會顯著增加性能、功耗和散熱需求。存儲架構對AI至關重要，必須演進以支持更快的訪問和更高的吞吐，同時不突破功耗預算?！?/span>

總結

電子游戲產業正在快速發展，擴展到世界的每一個角落和各種類型的設備。芯片創新將繼續支撐玩家所追求的最新特性——在體驗中獲得盡可能高的保真度和盡可能低的延遲。

Baya Systems首席商務官Nandan Nayampally表示：“游戲始終與用戶體驗和計算效率的提升息息相關。因為你越能真實地還原物理和視覺效果，就越能避免在增強現實和虛擬現實中常見的眩暈感。這些就是正在發生的變化，而數據流動是其根本所在。真正推動這一切的，是沉浸式游戲，而這歸根結底與形態有關，也就是進入各種設備的東西，而不僅僅是硅片性能。理想的情況是，任何交互都能變得更加自然和直觀，而不是機械化。增強現實的第四波浪潮將是游戲找到其定位的地方。然后你再加入agentic AI，讓它成為你的伙伴或對手。所以在游戲和agentic AI這兩個方向，都有大量創新正在發生。

作者：LIZ ALLAN