我們研究視頻到視頻的合成問題,其目的是學習從輸入源視頻(例如,一系列語義分割掩碼)到精確描述源視頻內容的輸出真實感視頻的映射功能。
雖然它的圖像對應物(圖像到圖像合成問題)是一個受歡迎的話題,但是視頻到視頻合成問題在文獻中很少探討。在不了解時間動態的情況下,將現有的圖像合成方法直接應用于輸入視頻通常會導致視覺質量低下的時間不連貫視頻。
在本文中,我們提出了一種在生成對抗性學習框架下的新穎的視頻合成方法。通過精心設計的生成器和鑒別器架構以及時空對抗目標,我們可以通過多種輸入格式(包括分割蒙版,草圖和姿勢)獲得高分辨率,逼真的,時間上連貫的視頻結果。在多個基準上進行的實驗表明,與強基準相比,我們的方法具有優勢。
尤其是,我們的模型能夠合成長達30秒的街道場景的2K分辨率視頻,從而大大提高了視頻合成的最新水平。最后,我們將我們的方法應用于未來的視頻預測,其性能超過了幾個最先進的競爭系統。
我們的模型能夠合成長達30秒的街道場景的2K分辨率視頻,從而大大提高了視頻合成的最新水平。最后,我們將我們的方法應用于未來的視頻預測,其性能超過了幾個最先進的競爭系統。
我們的模型能夠合成長達30秒的街道場景的2K分辨率視頻,從而大大提高了視頻合成的最新水平。最后,我們將我們的方法應用于未來的視頻預測,其性能超過了幾個最先進的競爭系統。
-
視頻
+關注
關注
6文章
2005瀏覽量
74980 -
模型
+關注
關注
1文章
3756瀏覽量
52127 -
生成器
+關注
關注
7文章
322瀏覽量
22723
發布評論請先 登錄
SeaVerse發布全球首個AI Native平臺,“All in AI Native”引領AI創作前瞻革命
商湯科技日日新Seko系列模型與寒武紀成功適配
使用Firebase AI Logic生成圖像模型的兩種新功能
OpenAI Sora 2模型上線微軟Azure AI Foundry國際版
全球首個動漫專屬AI視頻生成平臺Animon,國內版"萌動AI"正式發布
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI的科學應用
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI芯片的需求和挑戰
【Sipeed MaixCAM Pro開發板試用體驗】基于MaixCAM-Pro的AI生成圖像鑒別系統
百度重磅發布!全球首創中文音視頻模型
一種基于擴散模型的視頻生成框架RoboTransfer
4種用于視頻生成的尖端AI技術
評論