Self Forcing – Adobe聯(lián)合德克薩斯大學(xué)推出的視頻生成模型

Self Forcing 是 Adobe Research 與德克薩斯大學(xué)奧斯汀分校攜手打造的創(chuàng)新自回歸視頻生成算法。它巧妙解決了傳統(tǒng)生成模型在訓(xùn)練和測試過程中存在的暴露偏差問題，通過模擬自生成過程，從已生成的幀出發(fā)推演后續(xù)幀，從而縮小訓(xùn)練與測試分布的差距。Self Forcing 具備高效的實(shí)時(shí)視頻生成能力，并支持理論上無限長的視頻生成，為直播、游戲以及實(shí)時(shí)交互應(yīng)用帶來了無限可能。

Self Forcing：顛覆視頻生成的革新力量

Self Forcing 是一款由 Adobe Research 與德克薩斯大學(xué)奧斯汀分校聯(lián)合開發(fā)的性自回歸視頻生成算法。它旨在解決傳統(tǒng)生成模型在訓(xùn)練與測試環(huán)節(jié)中遭遇的“暴露偏差”難題。通過在訓(xùn)練階段模擬自生成過程，以先前產(chǎn)生的幀為基礎(chǔ)，預(yù)測后續(xù)幀，而非依賴真實(shí)的幀，從而有效彌合訓(xùn)練與測試分布的差異。Self Forcing 憑借其卓越的性能，為視頻創(chuàng)作領(lǐng)域帶來了前所未有的可能性。

核心功能一覽

• 迅捷的實(shí)時(shí)視頻生成：Self Forcing 能夠在單一 GPU 上實(shí)現(xiàn)高效的實(shí)時(shí)視頻生成，幀率高達(dá) 17 FPS，延遲低于 1 秒。這項(xiàng)特性使其成為對實(shí)時(shí)性要求極高的應(yīng)用的理想選擇。
• 無限延展的視頻創(chuàng)作：借助創(chuàng)新的滾動(dòng) KV 緩存機(jī)制，Self Forcing 實(shí)現(xiàn)了理論上無限長的視頻生成。這意味著您可以持續(xù)創(chuàng)作，不受視頻長度的限制，盡情發(fā)揮您的創(chuàng)意。
• 卓越的訓(xùn)練與測試統(tǒng)一性：Self Forcing 在訓(xùn)練階段模擬自生成過程，使用生成的幀作為條件預(yù)測后續(xù)幀，而非依賴真實(shí)幀。這種策略有效解決了自回歸生成中的暴露偏差問題，提升了生成視頻的質(zhì)量和穩(wěn)定性。
• 資源友好型設(shè)計(jì)：Self Forcing 優(yōu)化了計(jì)算資源的使用，能夠在單張 RTX 4090 顯卡上流暢地進(jìn)行流式視頻生成，降低了對硬件的依賴，使其更易于部署和應(yīng)用。
• 賦能多模態(tài)內(nèi)容創(chuàng)作：Self Forcing 的高效性和實(shí)時(shí)性使其能夠?yàn)槎嗄B(tài)內(nèi)容創(chuàng)作提供強(qiáng)大支持，例如在游戲直播中實(shí)時(shí)生成背景或特效，或者在虛擬現(xiàn)實(shí)體驗(yàn)中動(dòng)態(tài)生成視覺內(nèi)容，為創(chuàng)作者提供了更廣闊的應(yīng)用空間。

技術(shù)亮點(diǎn)解析

• 自回歸展開與全局損失優(yōu)化：Self Forcing 在訓(xùn)練階段模擬推理時(shí)的自回歸生成過程，即每一幀的生成都基于模型自身之前生成的幀，而非真實(shí)幀。通過視頻級(jí)別的整體分布匹配損失函數(shù)對整個(gè)生成序列進(jìn)行監(jiān)督，不僅是逐幀評(píng)估。模型能直接從自身預(yù)測的錯(cuò)誤中學(xué)習(xí)，有效減輕暴露偏差。
• 滾動(dòng) KV 緩存機(jī)制：為了支持長視頻生成，Self Forcing 引入了滾動(dòng)鍵值（KV）緩存機(jī)制。該機(jī)制維護(hù)一個(gè)固定大小的緩存區(qū)，存儲(chǔ)最近幾幀的 KV 嵌入。當(dāng)生成新幀時(shí)，緩存區(qū)會(huì)移除最舊的條目并添加新的嵌入。
• 少步擴(kuò)散模型與梯度截?cái)嗖呗?/strong>：為了提高訓(xùn)練效率，Self Forcing 采用了少步擴(kuò)散模型，結(jié)合隨機(jī)梯度截?cái)嗖呗浴＞唧w來說，模型在訓(xùn)練時(shí)隨機(jī)選擇去噪步驟的數(shù)量，并僅對最終去噪步驟執(zhí)行反向傳播。
• 動(dòng)態(tài)條件生成機(jī)制：在生成每一幀時(shí)，Self Forcing 動(dòng)態(tài)結(jié)合兩類條件輸入：過去時(shí)間步已生成的清晰幀和當(dāng)前時(shí)間步的噪聲幀。通過迭代去噪完成生成，確保了生成過程的連貫性和自然性。

探索 Self Forcing 的世界

想了解更多關(guān)于 Self Forcing 的信息？以下是您深入探索的渠道：

• 項(xiàng)目官網(wǎng)：https://self-forcing.github.io/
• Github 倉庫：https://github.com/guandeh17/Self-Forcing
• arXiv 技術(shù)論文：https://arxiv.org/pdf/2506.08009

應(yīng)用場景展望

• 直播與實(shí)時(shí)視頻流：Self Forcing 具備出色的實(shí)時(shí)生成能力，非常適合在直播場景中使用，例如實(shí)時(shí)生成虛擬背景、特效或動(dòng)態(tài)場景，為觀眾帶來耳目一新的視覺體驗(yàn)。
• 游戲開發(fā)：在游戲開發(fā)領(lǐng)域，Self Forcing 可以實(shí)時(shí)生成游戲場景和特效，無需預(yù)先制作大量的視頻資源。根據(jù)玩家的實(shí)時(shí)操作生成動(dòng)態(tài)的環(huán)境變化或特效，增強(qiáng)游戲的沉浸感和交互性。
• 虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)：Self Forcing 的低延遲和高效生成能力為虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）應(yīng)用提供了實(shí)時(shí)的視覺內(nèi)容。在 VR 體驗(yàn)中實(shí)時(shí)生成逼真的虛擬場景，或在 AR 應(yīng)用中實(shí)時(shí)疊加虛擬元素。
• 內(nèi)容創(chuàng)作與視頻編輯：Self Forcing 可以用于短視頻創(chuàng)作工具，幫助創(chuàng)作者快速生成高質(zhì)量的視頻內(nèi)容。
• 世界模擬與訓(xùn)練：Self Forcing 可以用于世界模擬和訓(xùn)練場景，例如生成逼真的自然環(huán)境或城市景觀，用于軍事訓(xùn)練、城市規(guī)劃或環(huán)境模擬。

常見問題解答

以下是一些關(guān)于 Self Forcing 的常見問題：

• Self Forcing 與傳統(tǒng)視頻生成模型的區(qū)別是什么？ Self Forcing 通過模擬自生成過程，有效解決了傳統(tǒng)模型在訓(xùn)練和測試中存在的暴露偏差問題，從而提升了視頻生成質(zhì)量和穩(wěn)定性。
• Self Forcing 的實(shí)時(shí)性能如何？ Self Forcing 能夠在單個(gè) GPU 上實(shí)現(xiàn) 17 FPS 的幀率，并且延遲低于 1 秒，具備出色的實(shí)時(shí)性能。
• Self Forcing 支持生成多長時(shí)間的視頻？ 借助滾動(dòng) KV 緩存機(jī)制，Self Forcing 支持理論上無限長的視頻生成。
• Self Forcing 的應(yīng)用前景是什么？ Self Forcing 在直播、游戲、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、內(nèi)容創(chuàng)作等領(lǐng)域具有廣泛的應(yīng)用前景，將為這些領(lǐng)域帶來性的變革。