近日，南開(kāi)大學(xué)和字節(jié)跳動(dòng)聯(lián)合開(kāi)發(fā)的 StoryDiffusion 模型解決了擴(kuò)散模型生成連貫圖像與視頻的難題。其核心在于“一致自注意力”機(jī)制，強(qiáng)化圖像間一致性，無(wú)需額外訓(xùn)練即可提升現(xiàn)有文本到圖像模型的表現(xiàn)。加之“語(yǔ)義運(yùn)動(dòng)預(yù)測(cè)器”，利用語(yǔ)義空間預(yù)測(cè)圖像序列間的流暢變換，尤其在長(zhǎng)視頻生成中展現(xiàn)了前所未有的穩(wěn)定性與主體一致性。此框架使基于文本的復(fù)雜故事視覺(jué)化成為可能，不僅在角色與場(chǎng)景細(xì)節(jié)一致性上超越 IP-Adapter 等工具，還能精準(zhǔn)匹配文本描述。

南開(kāi)大學(xué)和字節(jié)跳動(dòng)聯(lián)合開(kāi)發(fā)的StoryDiffusion模型是一種新的機(jī)器學(xué)習(xí)技術(shù)，主要用于生成具有長(zhǎng)距離相關(guān)性的圖像和視頻。以下是該模型的一些主要特點(diǎn)：

1.一致性自注意力（Consistent Self-Attention）：該模型通過(guò)一種新的自注意力計(jì)算方法，在生成圖像時(shí)建立批內(nèi)圖像之間的聯(lián)系，以保持人物的一致性。這種機(jī)制無(wú)需訓(xùn)練即可生成主題一致的圖像，解決了在一系列生成的圖像中保持內(nèi)容一致性的挑戰(zhàn)，尤其是對(duì)于包含復(fù)雜主題和細(xì)節(jié)的圖像。

2.語(yǔ)義運(yùn)動(dòng)預(yù)測(cè)器（Semantic Motion Predictor）：為了將這種方法擴(kuò)展到長(zhǎng)視頻生成，StoryDiffusion引入了語(yǔ)義運(yùn)動(dòng)預(yù)測(cè)器，將圖像編碼到語(yǔ)義空間，并預(yù)測(cè)語(yǔ)義空間中的運(yùn)動(dòng)，以生成視頻。這種基于語(yǔ)義空間的運(yùn)動(dòng)預(yù)測(cè)比僅基于潛在空間的預(yù)測(cè)更加穩(wěn)定。

3.兩階段長(zhǎng)視頻生成方法：通過(guò)Consistent self-attention機(jī)制生成的圖像可以順利過(guò)渡為視頻，實(shí)現(xiàn)兩階段長(zhǎng)視頻生成方法。結(jié)合這兩個(gè)部分，可以生成常長(zhǎng)且高質(zhì)量的AIGC視頻。

4.用戶交互性：用戶可以通過(guò)提供一系列用戶輸入的條件圖像，使用Image-to-Video模型生成視頻。此外，用戶還可以通過(guò)Jupyter notebook或本地adio demo來(lái)生成漫畫。

5.應(yīng)用范圍：StoryDiffusion的應(yīng)用范圍廣泛，包括漫畫生成、圖像轉(zhuǎn)視頻等多種場(chǎng)景。

StoryDiffusion模型利用了一種稱為StoryGAN的生成模型，該模型可以根據(jù)輸入的故事情節(jié)和場(chǎng)景描述生成相關(guān)的圖像和視頻。這項(xiàng)技術(shù)有助于解決傳統(tǒng)圖像和視頻生成技術(shù)中的局限性，使得生成的圖像和視頻更加自然和連貫。