MediaTek聯(lián)合快手推出高效端側(cè)視頻生成技術(shù)

MediaTek 與快手共同宣布，推出高效端側(cè)視頻生成技術(shù)，共同探索并推進生成式 AI 技術(shù)的革新。作為對 2024 世界移動通信大會（MWC 2024）上亮相的視頻生成技術(shù)的延續(xù)，該技術(shù)結(jié)合快手的 AI 模型 I2V（image to video）Adapter 與 MediaTek 天璣 9300、天璣 8300 移動平臺強勁的 AI 算力，在端側(cè)實現(xiàn)由靜態(tài)圖像生成動態(tài)視頻的創(chuàng)新體驗。用戶只需在設(shè)備上選取圖片，應(yīng)用即可智能地識別照片中的人物和場景，生成自然流暢的視頻佳作，從而顯著提升視頻制作的創(chuàng)意表現(xiàn)和效率。

雙方的合作充分借助 MediaTek 天璣移動平臺先進的 AI 技術(shù)，攜手攻克了模型底層適配優(yōu)化及上層開發(fā)的系列技術(shù)及工程難題，為用戶帶來讓人耳目一新的端側(cè)生成式 AI 體驗，將改變用戶創(chuàng)作和分享內(nèi)容的方式。

I2V-Adapter 是快手 AI 團隊提出的一種適用于基于 Stable Diffusion 文生視頻擴散模型的輕量級適配模塊。作為即插即用的擴散模型輕量級模塊，該模塊專門用于由圖像到視頻的生成任務(wù)，能夠在不需要改變現(xiàn)有文本到視頻生成（T2V）模型原始結(jié)構(gòu)和預(yù)訓(xùn)練參數(shù)的情況下，將靜態(tài)圖像轉(zhuǎn)換成動態(tài)視頻。此外，其解耦設(shè)計使得該方案能夠與 DreamBooth、LoRa、ControlNet 等模塊無縫兼容，實現(xiàn)個性化和可控的圖像到視頻生成。

MediaTek 天璣 9300 和天璣 8300 移動平臺集成為生成式 AI 而設(shè)計的先進 NPU（神經(jīng)網(wǎng)絡(luò)處理單元），具備強勁算力和能效。在圖像生成視頻的應(yīng)用中，它可以顯著加速 AI 模型的運算，配合與快手 I2V Adapter 模型的適配和優(yōu)化，實現(xiàn)更快的視頻生成速度，同時兼具低功耗特性。與此同時，天璣移動平臺可結(jié)合深度學(xué)習(xí)和實時渲染技術(shù)，對圖像內(nèi)容進行深度分析，捕捉關(guān)鍵幀，并據(jù)此生成流暢、逼真的視頻畫面效果。而 MediaTek 的實時渲染技術(shù)則能夠確保視頻在各類設(shè)備上均能帶來高畫質(zhì)表現(xiàn)。

全球短視頻市場正迎來高速增長期，行業(yè)對創(chuàng)新、高效的視頻生成技術(shù)的需求日益迫切。MediaTek 與快手基于對市場需求和趨勢的深刻洞察，為廣大用戶帶來更加先進、便捷的視頻生成工具，共同推動短視頻生態(tài)的繁榮發(fā)展。未來，雙方將持續(xù)深化合作，推動生成式 AI 技術(shù)的進一步發(fā)展，滿足市場不斷變化的需求，共同開創(chuàng)和探索短視頻技術(shù)的新紀元。