谷歌研究院近日發布了一款名為Lumiere的文生視頻擴散模型，基于自家研發的Space-Time U-Net基礎架構，獨立生成具有高效、完整且動作連貫性的視頻效果。

該公司指出，當前眾多文生視頻模型普遍存在無法生成長時、高品質及動作連貫的問題。這些模型往往采用“分段生成視頻”策略，即先生成少量關鍵幀，再借助時間超級分辨率（TSM）技術生成其間的視頻文件。盡管此策略可減緩RAM負擔，但難以生成理想的連續視頻效果。

針對此問題，谷歌的Lumiere模型創新地引入了新型Space-Time U-Net基礎架構，這種架構能在空間和時間兩個維度同時降低信號采樣率，使其具備更高的計算效率，進而實現生成更具持續性、動作連貫的視頻效果。

此外，開發者們特別說明，Lumiere每次可生成80幀視頻（在16FPS模式下相當于5秒視頻，或在24FPS模式下為約3.34秒視頻）。盡管這一時光貌似短暫，然而他們強調，事實上，這段5秒視頻所包含的鏡頭時長已超出大多數媒體作品中單一鏡頭的平均時長。

除運用架構創新以外，作為AI構建基礎的預訓練文生圖像模型也得到了谷歌團隊的特別關注。該模型首次生成簡單像素草稿作為視頻分幀，然后借助空間超分辨率（SRM）模型，逐步提高分幀分辨率，同時引入通用生成框架Multi-Diffusion以增強模型穩定性，從而確保最終輸出的視頻效果一致且連續。