南開大學(xué)和字節(jié)跳動聯(lián)合開發(fā)一款StoryDiffusion模型

近日，南開大學(xué)和字節(jié)跳動聯(lián)合開發(fā)的 StoryDiffusion 模型解決了擴散模型生成連貫圖像與視頻的難題。其核心在于“一致自注意力”機制，強化圖像間一致性，無需額外訓(xùn)練即可提升現(xiàn)有文本到圖像模型的表現(xiàn)。加之“語義運動預(yù)測器”，利用語義空間預(yù)測圖像序列間的流暢變換，尤其在長視頻生成中展現(xiàn)了前所未有的穩(wěn)定性與主體一致性。此框架使基于文本的復(fù)雜故事視覺化成為可能，不僅在角色與場景細節(jié)一致性上超越 IP-Adapter 等工具，還能精準匹配文本描述。

南開大學(xué)和字節(jié)跳動聯(lián)合開發(fā)的StoryDiffusion模型是一種新的機器學(xué)習(xí)技術(shù)，主要用于生成具有長距離相關(guān)性的圖像和視頻。以下是該模型的一些主要特點：

1.一致性自注意力（Consistent Self-Attention）：該模型通過一種新的自注意力計算方法，在生成圖像時建立批內(nèi)圖像之間的聯(lián)系，以保持人物的一致性。這種機制無需訓(xùn)練即可生成主題一致的圖像，解決了在一系列生成的圖像中保持內(nèi)容一致性的挑戰(zhàn)，尤其是對于包含復(fù)雜主題和細節(jié)的圖像。

2.語義運動預(yù)測器（Semantic Motion Predictor）：為了將這種方法擴展到長視頻生成，StoryDiffusion引入了語義運動預(yù)測器，將圖像編碼到語義空間，并預(yù)測語義空間中的運動，以生成視頻。這種基于語義空間的運動預(yù)測比僅基于潛在空間的預(yù)測更加穩(wěn)定。

3.兩階段長視頻生成方法：通過Consistent self-attention機制生成的圖像可以順利過渡為視頻，實現(xiàn)兩階段長視頻生成方法。結(jié)合這兩個部分，可以生成常長且高質(zhì)量的AIGC視頻。

4.用戶交互性：用戶可以通過提供一系列用戶輸入的條件圖像，使用Image-to-Video模型生成視頻。此外，用戶還可以通過Jupyter notebook或本地adio demo來生成漫畫。

5.應(yīng)用范圍：StoryDiffusion的應(yīng)用范圍廣泛，包括漫畫生成、圖像轉(zhuǎn)視頻等多種場景。

StoryDiffusion模型利用了一種稱為StoryGAN的生成模型，該模型可以根據(jù)輸入的故事情節(jié)和場景描述生成相關(guān)的圖像和視頻。這項技術(shù)有助于解決傳統(tǒng)圖像和視頻生成技術(shù)中的局限性，使得生成的圖像和視頻更加自然和連貫。