近日,阿里巴巴團(tuán)隊震撼發(fā)布了一項革命性的創(chuàng)新成果——Tora,一個前所未有的AI視頻生成框架。Tora深度融合了文本、視覺與軌跡條件,依托其獨創(chuàng)的軌跡導(dǎo)向擴(kuò)散變換器(DiT)技術(shù),徹底顛覆了視頻內(nèi)容的創(chuàng)造與控制方式,為電影特效、虛擬現(xiàn)實等多個領(lǐng)域開辟了廣闊的創(chuàng)意天地。
該框架的精髓在于其三大核心組件的精密協(xié)作:軌跡提取器(TE)、時空DiT模塊以及運動引導(dǎo)融合器(MGF)。TE運用前沿的3D視頻壓縮網(wǎng)絡(luò)技術(shù),如同魔法般將輸入的軌跡信息轉(zhuǎn)化為高效的分層時空運動補(bǔ)丁,為視頻生成鋪設(shè)了一條堅實的道路。隨后,MGF憑借其獨特魅力,將這些運動補(bǔ)丁與DiT模塊無縫對接,確保每一幀視頻都嚴(yán)格遵循預(yù)設(shè)軌跡,展現(xiàn)出流暢且逼真的動態(tài)畫面。
尤為令人矚目的是,Tora框架能夠輕松駕馭長達(dá)204幀、720P高清視頻的創(chuàng)作,同時賦予用戶前所未有的自由度,精準(zhǔn)調(diào)控視頻的時長、尺寸及分辨率,滿足不同場景下的多樣化需求。在保持卓越運動保真度的同時,Tora還能細(xì)膩捕捉并模擬物理世界的微妙運動規(guī)律,為觀眾開啟一扇通往極致沉浸體驗的大門。
阿里巴巴團(tuán)隊將Tora譽(yù)為“數(shù)字時代的神筆馬良”,象征著用戶只需簡單勾勒,即可駕馭物體的運動軌跡,輕松編織出復(fù)雜而精彩的視頻故事。這一創(chuàng)新不僅極大降低了視頻制作的技術(shù)門檻,更為電影特效師、廣告創(chuàng)意人及虛擬現(xiàn)實開發(fā)者等業(yè)界精英提供了前所未有的強(qiáng)大工具,預(yù)示著視頻創(chuàng)作與傳播領(lǐng)域即將迎來一場深刻的變革。
隨著Tora框架的正式問世,阿里巴巴再次證明了其在人工智能領(lǐng)域的領(lǐng)先地位與創(chuàng)新能力。展望未來,隨著技術(shù)的持續(xù)演進(jìn)與升級,我們有充分的理由期待Tora能夠引領(lǐng)全球視頻創(chuàng)作與傳播領(lǐng)域邁向更加輝煌的明天,不斷創(chuàng)造新的奇跡與可能。
-
視頻
+關(guān)注
關(guān)注
6文章
2005瀏覽量
74980 -
AI
+關(guān)注
關(guān)注
91文章
39866瀏覽量
301520 -
阿里巴巴
+關(guān)注
關(guān)注
7文章
1647瀏覽量
49210
發(fā)布評論請先 登錄
SeaVerse發(fā)布全球首個AI Native平臺,“All in AI Native”引領(lǐng)AI創(chuàng)作前瞻革命
商湯科技日日新Seko系列模型與寒武紀(jì)成功適配
讓HMI“動”起來:移動手持HMI在智能制造中的多場景應(yīng)用
DIPO框架實現(xiàn)應(yīng)用于具身智能仿真的3D鉸鏈物體生成新范式
OpenAI Sora 2模型上線微軟Azure AI Foundry國際版
全球首個動漫專屬AI視頻生成平臺Animon,國內(nèi)版"萌動AI"正式發(fā)布
AI的核心操控:從算法到硬件的協(xié)同進(jìn)化
NVIDIA助力樞途科技突破視頻提取具身數(shù)據(jù)技術(shù)鴻溝
智能體化AI和生成式AI的區(qū)別
大家都在用什么AI軟件?有沒有好用的免費的AI軟件推薦一下?
一種基于擴(kuò)散模型的視頻生成框架RoboTransfer
阿里首推AI視頻生成利器Tora:指尖畫圈,自由操控物體運動軌跡
評論