騰訊攜手清華港科大推出圖生視頻模型：Follow-Your-Click，實(shí)現(xiàn)在線物體追蹤

3 月 15 日消息，騰訊與清華大學(xué)及香港科技大學(xué)聯(lián)合發(fā)布新型圖生視頻模型 “Follow-Your-Click”，已上線 GitHub（代碼于四月份公開(kāi)）并發(fā)布相關(guān)研究論文（查閱地址：DOI:2403.08268）。

該模型以局部動(dòng)態(tài)生成及多物體動(dòng)畫為主打性能，支持多樣化動(dòng)作，如頭部運(yùn)動(dòng)、翅膀震動(dòng)等。

據(jù)了解，在這款名為 “Follow-Your-Click” 的視頻模型中，用戶僅需利用點(diǎn)擊與明確指令便可實(shí)現(xiàn)圖案的局部動(dòng)畫效果。用戶只需輕點(diǎn)所需位置，再輸入微量提示詞匯，原先靜態(tài)的圖像便能立即呈現(xiàn)出動(dòng)態(tài)效果，無(wú)需繁瑣程序，輕松實(shí)現(xiàn)物體自動(dòng)微笑、舞蹈乃至飛翔等視覺(jué)效果。

此外，該系統(tǒng)還能協(xié)同處理多個(gè)對(duì)象的動(dòng)畫效果，提升動(dòng)畫的復(fù)雜度及多樣性。用戶可通過(guò)簡(jiǎn)單的點(diǎn)擊和短語(yǔ)提醒輕松選定需要?jiǎng)赢嬣D(zhuǎn)變的區(qū)域以及動(dòng)作類型，無(wú)需冗長(zhǎng)描述或額外操理解釋。