阿里首推AI視頻生成利器Tora:指尖畫(huà)圈,自由操控物體運(yùn)動(dòng)軌跡

近日，阿里巴巴團(tuán)隊(duì)震撼發(fā)布了一項(xiàng)革命性的創(chuàng)新成果——Tora，一個(gè)前所未有的AI視頻生成框架。Tora深度融合了文本、視覺(jué)與軌跡條件，依托其獨(dú)創(chuàng)的軌跡導(dǎo)向擴(kuò)散變換器（DiT）技術(shù)，徹底顛覆了視頻內(nèi)容的創(chuàng)造與控制方式，為電影特效、虛擬現(xiàn)實(shí)等多個(gè)領(lǐng)域開(kāi)辟了廣闊的創(chuàng)意天地。

該框架的精髓在于其三大核心組件的精密協(xié)作：軌跡提取器（TE）、時(shí)空DiT模塊以及運(yùn)動(dòng)引導(dǎo)融合器（MGF）。TE運(yùn)用前沿的3D視頻壓縮網(wǎng)絡(luò)技術(shù)，如同魔法般將輸入的軌跡信息轉(zhuǎn)化為高效的分層時(shí)空運(yùn)動(dòng)補(bǔ)丁，為視頻生成鋪設(shè)了一條堅(jiān)實(shí)的道路。隨后，MGF憑借其獨(dú)特魅力，將這些運(yùn)動(dòng)補(bǔ)丁與DiT模塊無(wú)縫對(duì)接，確保每一幀視頻都嚴(yán)格遵循預(yù)設(shè)軌跡，展現(xiàn)出流暢且逼真的動(dòng)態(tài)畫(huà)面。

尤為令人矚目的是，Tora框架能夠輕松駕馭長(zhǎng)達(dá)204幀、720P高清視頻的創(chuàng)作，同時(shí)賦予用戶前所未有的自由度，精準(zhǔn)調(diào)控視頻的時(shí)長(zhǎng)、尺寸及分辨率，滿足不同場(chǎng)景下的多樣化需求。在保持卓越運(yùn)動(dòng)保真度的同時(shí)，Tora還能細(xì)膩捕捉并模擬物理世界的微妙運(yùn)動(dòng)規(guī)律，為觀眾開(kāi)啟一扇通往極致沉浸體驗(yàn)的大門(mén)。

阿里巴巴團(tuán)隊(duì)將Tora譽(yù)為“數(shù)字時(shí)代的神筆馬良”，象征著用戶只需簡(jiǎn)單勾勒，即可駕馭物體的運(yùn)動(dòng)軌跡，輕松編織出復(fù)雜而精彩的視頻故事。這一創(chuàng)新不僅極大降低了視頻制作的技術(shù)門(mén)檻，更為電影特效師、廣告創(chuàng)意人及虛擬現(xiàn)實(shí)開(kāi)發(fā)者等業(yè)界精英提供了前所未有的強(qiáng)大工具，預(yù)示著視頻創(chuàng)作與傳播領(lǐng)域即將迎來(lái)一場(chǎng)深刻的變革。

隨著Tora框架的正式問(wèn)世，阿里巴巴再次證明了其在人工智能領(lǐng)域的領(lǐng)先地位與創(chuàng)新能力。展望未來(lái)，隨著技術(shù)的持續(xù)演進(jìn)與升級(jí)，我們有充分的理由期待Tora能夠引領(lǐng)全球視頻創(chuàng)作與傳播領(lǐng)域邁向更加輝煌的明天，不斷創(chuàng)造新的奇跡與可能。