Adobe 聯(lián)合 MIT 推出的自回歸實(shí)時(shí)視頻生成技術(shù)

產(chǎn)品名稱：CausVid
產(chǎn)品簡(jiǎn)介：CausVid是Adobe和MIT共同推出的自回歸實(shí)時(shí)視頻生成技術(shù)，能實(shí)現(xiàn)視頻的即時(shí)播放?；谡麴s預(yù)訓(xùn)練的雙向擴(kuò)散模型構(gòu)建出自回歸生成模型，減少視頻生成的延遲，首幀延遲僅1.3秒，生成速度達(dá)到9.4幀/秒。CausVid突破傳統(tǒng)視頻生成模型的限制，支持多種應(yīng)用。
詳細(xì)介紹：

CausVid是什么

CausVid是Adobe和MIT共同推出的自回歸實(shí)時(shí)視頻生成技術(shù)，能實(shí)現(xiàn)視頻的即時(shí)播放?；谡麴s預(yù)訓(xùn)練的雙向擴(kuò)散模型構(gòu)建出自回歸生成模型，減少視頻生成的延遲，首幀延遲僅1.3秒，生成速度達(dá)到9.4幀/秒。CausVid突破傳統(tǒng)視頻生成模型的限制，支持多種應(yīng)用，如文本到視頻、圖像到視頻的生成，及視頻風(fēng)格轉(zhuǎn)換等，為實(shí)時(shí)視頻創(chuàng)作和編輯帶來新的可能性。

CausVid的主要功能

• 即時(shí)視頻生成：用戶在點(diǎn)擊生成后能立即觀看視頻，無需等待整個(gè)視頻序列生成完畢。
• 快速流式生成：在單GPU上以9.4 FPS的速度快速流式生成高質(zhì)量視頻。
• 零樣本圖像到視頻生成：無需額外訓(xùn)練，模型能將靜態(tài)圖像自然轉(zhuǎn)化為流暢視頻。
• 視頻風(fēng)格轉(zhuǎn)換：實(shí)時(shí)將一種視頻風(fēng)格轉(zhuǎn)換為另一種風(fēng)格，如將游戲畫面轉(zhuǎn)換為真實(shí)場(chǎng)景。
• 交互式劇情生成：用戶調(diào)整提示詞，實(shí)時(shí)引導(dǎo)視頻劇情發(fā)展，創(chuàng)造新的創(chuàng)作體驗(yàn)。
• 長視頻生成：訓(xùn)練時(shí)接觸10秒的視頻，能生成長達(dá)30秒甚至更長的視頻。

CausVid的技術(shù)原理

• 自回歸生成模型：基于自回歸生成模型，按順序生成視頻的每一幀。
• 分布匹配蒸餾（DMD）：基于DMD技術(shù)，將一個(gè)多步的擴(kuò)散模型蒸餾成只需4步的生成器，大幅減少生成步驟，提高效率。
• 非對(duì)稱蒸餾策略：用雙向教師模型監(jiān)督自回歸的單向?qū)W生模型，減少誤差累積，提高視頻生成質(zhì)量。
• 學(xué)生初始化：在蒸餾訓(xùn)練之前，基于預(yù)訓(xùn)練學(xué)生模型穩(wěn)定后續(xù)的訓(xùn)練過程。
• KV緩存推理技術(shù)：用鍵值（KV）緩存機(jī)制，提高生成效率，支持模型快速訪問之前生成的幀信息。
• 滑動(dòng)窗口機(jī)制：用滑動(dòng)窗口機(jī)制，處理無限長度的視頻生成，打破傳統(tǒng)模型的長度限制。
• 誤差累積控制：基于教師-學(xué)生結(jié)構(gòu)和特定的訓(xùn)練策略，減少自回歸模型中常見的誤差累積問題，生成更穩(wěn)定和高質(zhì)量的視頻內(nèi)容。

CausVid的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：causvid.github.io
• 技術(shù)論文：https://causvid.github.io/causvid_paper.pdf

CausVid的應(yīng)用場(chǎng)景

• 內(nèi)容創(chuàng)作與娛樂：快速生成視頻內(nèi)容，為視頻博主、電影制作人和游戲開發(fā)者提供快速制作和迭代視頻內(nèi)容的方法。
• 新聞與報(bào)道：在新聞報(bào)道中，迅速制作出視頻摘要，幫助觀眾快速了解動(dòng)態(tài)。
• 教育與培訓(xùn)：用CausVid生成的教育視頻模擬復(fù)雜的過程和歷史，為學(xué)習(xí)者提供直觀的學(xué)習(xí)材料。
• 游戲開發(fā)：游戲開發(fā)者創(chuàng)建游戲內(nèi)的動(dòng)態(tài)背景，或快速原型設(shè)計(jì)游戲故事情節(jié)。
• 廣告與營銷：根據(jù)市場(chǎng)需求快速調(diào)整廣告內(nèi)容，幫助營銷人員制作更具針對(duì)性的廣告視頻。