還兼容多個主流視頻生成模型

原標(biāo)題：無需訓(xùn)練、即插即用，新算法大幅增強(qiáng)視頻生成質(zhì)量｜NUS＆上海AI Lab&UT Austin
文章來源：量子位
內(nèi)容字?jǐn)?shù)：4925字

Enhance-A-Video：無需訓(xùn)練，即插即用地提升AI視頻生成質(zhì)量

近日，新加坡國立大學(xué)、上海AI實(shí)驗(yàn)室和德克薩斯大學(xué)奧斯汀分校的研究團(tuán)隊(duì)發(fā)布了一種全新的視頻生成增強(qiáng)算法——Enhance-A-Video。該算法無需額外模型訓(xùn)練，即可顯著提升現(xiàn)有視頻生成模型的質(zhì)量，在細(xì)節(jié)表現(xiàn)、時序連貫性等方面取得了顯著進(jìn)展。其核心在于通過調(diào)整時間注意力層的關(guān)鍵參數(shù)，在幾乎不增加推理負(fù)擔(dān)的情況下，大幅提升視頻生成效果。

1. 背景：AI視頻生成技術(shù)的挑戰(zhàn)

隨著Diffusion Transformer (DiT) 等技術(shù)的快速發(fā)展，AI 視頻生成能力日益增強(qiáng)。然而，現(xiàn)有方法仍存在一些問題，例如：時序不連貫、細(xì)節(jié)模糊、畫面抖動等，這些都嚴(yán)重影響了生成視頻的質(zhì)量和觀感。Enhance-A-Video 正是為了解決這些問題而誕生的。

2. Enhance-A-Video的核心原理

Enhance-A-Video 的核心思想在于優(yōu)化時間注意力機(jī)制。研究人員發(fā)現(xiàn)，在 DiT 模型中，時間注意力的分布存在差異，部分層的跨幀注意力強(qiáng)度低于單幀自注意力，導(dǎo)致幀間信息傳遞不足。因此，他們提出通過調(diào)整一個關(guān)鍵參數(shù)——增強(qiáng)溫度參數(shù)——來優(yōu)化時間注意力的分布，從而提升視頻質(zhì)量。

該方法類似于大語言模型中溫度系數(shù)的調(diào)節(jié)機(jī)制，通過調(diào)整參數(shù)來平衡一致性和多樣性。在 Enhance-A-Video 中，調(diào)整增強(qiáng)溫度參數(shù)可以控制幀間相關(guān)性強(qiáng)度，從而提高視頻的連貫性和細(xì)節(jié)表現(xiàn)。

3. 方法概述：高效、無需訓(xùn)練的動態(tài)增強(qiáng)方案

Enhance-A-Video 的實(shí)現(xiàn)過程包括以下步驟：

1. 在時間注意力層添加一個并行分支，計(jì)算時間注意力分布圖。
2. 從時間注意力分布圖中提取跨幀強(qiáng)度 (CFI)。
3. 引入增強(qiáng)溫度參數(shù)，將其與 CFI 的乘積作為增強(qiáng)模塊的輸出系數(shù)，動態(tài)調(diào)整時間注意力層輸出的特征增強(qiáng)強(qiáng)度。

整個過程無需對原始模型進(jìn)行重新訓(xùn)練，實(shí)現(xiàn)了高效、即插即用的增強(qiáng)效果。

4. 實(shí)驗(yàn)結(jié)果與應(yīng)用

實(shí)驗(yàn)結(jié)果表明，Enhance-A-Video 在多個主流視頻生成模型（如 CogVideoX-2B、OpenSora-V1.2 和 HunyuanVideo）上都取得了顯著的性能提升，尤其在對比度、清晰度和細(xì)節(jié)真實(shí)性方面表現(xiàn)突出。該算法已被集成到多個推理框架中，如 ComfyUI-Hunyuan 和 ComfyUI-LTX，并得到了社區(qū)的廣泛認(rèn)可。

5. 未來研究方向

研究團(tuán)隊(duì)計(jì)劃進(jìn)一步改進(jìn) Enhance-A-Video，包括：

1. 研究自動調(diào)節(jié)增強(qiáng)溫度參數(shù)的機(jī)制。
2. 擴(kuò)展算法的適用性，使其能夠適配更大規(guī)模的模型和多模態(tài)場景。
3. 構(gòu)建更完善的視頻生成質(zhì)量評價體系。

總而言之，Enhance-A-Video 為 AI 視頻生成技術(shù)的質(zhì)量提升提供了新的思路和方法，其高效、通用、無需訓(xùn)練的特點(diǎn)使其具有廣泛的應(yīng)用前景。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破