LinGen

LinGen – Meta聯合普林斯頓大學推出的文本到視頻生成框架

LinGen 是一款由普林斯頓大學和Meta聯合推出的創新型文本到視頻生成框架，它憑借線性復雜度的 MATE 模塊，顛覆了傳統 Diffusion Transformers 中自注意力機制的局限。LinGen 能夠在單個 GPU 上高效生成高分辨率、分鐘級時長的視頻，在視頻質量和生成效率上均超越現有模型，為長視頻創作和實時交互式視頻應用開辟了嶄新道路。

LinGen：視頻生成領域的革新者

LinGen 是一項前沿的文本到視頻生成技術，由普林斯頓大學和Meta攜手打造。它巧妙地運用了線性復雜度的 MATE 模塊（包括 MA-branch 和 TE-branch），取代了傳統 Diffusion Transformers 中計算量巨大的自注意力機制。這項創新使得 LinGen 能夠以極高的效率在單個 GPU 上生成高質量、高分辨率的分鐘級視頻。LinGen 不僅大幅降低了計算負擔，同時還能保持卓越的視頻輸出質量，在視頻質量和生成效率上均超越了現有的先進模型，為長視頻生成和實時交互式視頻應用奠定了堅實的基礎。

核心特性：LinGen 的卓越之處

高清視頻創作：支持生成高達 512p 乃至 1024p 分辨率的視頻，滿足對畫面質量有極致要求的創作需求。
長時視頻生成：打破傳統模型只能生成短視頻的束縛，支持生成分鐘級時長的視頻，拓展視頻創作的邊界。
線性計算復雜度：基于線性復雜度的 MATE 模塊，顯著降低計算成本，讓視頻生成過程更高效，尤其適合在單 GPU 環境下運行。
高品質視頻輸出：生成的視頻在視覺效果和文本對齊方面與現有頂尖模型媲美，同時保持了出色的幀間一致性。
實時交互式視頻應用：為實時交互式視頻生成和編輯提供了可能性，適用于各種動態內容創作場景。

技術解析：LinGen 的核心原理

MA-branch（多尺度注意力分支）：
- 雙向 Mamba2 模塊：采用雙向設計的 Mamba2，這是一款高效的線性復雜度序列模型，能夠捕捉序列中的雙向依賴關系。
- Rotary Major Scan (RMS)：通過空間行優先、空間列優先、時間行優先、時間列優先等不同的掃描方式重新排列 3D 視頻 token 張量，增強短距離相關性，同時降低計算延遲。
- Review Tokens：在序列處理前加入平均池化的 token 序列，提供對整個序列的全局概覽，增強長距離相關性。
TE-branch（時間注意力分支）：將 3D 視頻 token 張量分割成小窗口，在窗口內計算自注意力，TESA 能夠捕捉空間上相鄰和時間上中等距離的 token 之間的相關性。窗口在不同層之間交替移動，從而擴大感受野并增強視頻的一致性。
線性復雜度優勢：得益于 MATE 模塊的設計，LinGen 的計算復雜度與生成視頻的像素數量成正比，而非傳統模型的二次方關系。這使得 LinGen 能夠在保持高質量輸出的同時，大幅降低計算成本，提升生成效率。
訓練策略：LinGen 采用了漸進式訓練策略，先在低分辨率的文本到圖像任務上進行預訓練，然后逐步增加視頻分辨率和長度進行預訓練。在文本到視頻預訓練階段，結合文本-圖像對進行混合訓練，以提升生成視頻的連貫性。通過在高質量視頻數據集上進行微調，進一步增強生成視頻的質量。