Wan2.1

Wan2.1 – 阿里開源的AI視頻生成大模型

Wan2.1是什么

Wan2.1是阿里云推出的一款開源AI視頻生成大模型，擁有強(qiáng)大的視覺創(chuàng)作能力。該模型支持文本生成視頻和圖像生成視頻兩大任務(wù)，提供兩種不同尺寸的模型：14B參數(shù)的專業(yè)版擅長(zhǎng)于復(fù)雜的生成和物理建模，性能優(yōu)異；而1.3B參數(shù)的極速版則能夠在消費(fèi)級(jí)顯卡上流暢運(yùn)行，顯存需求低，特別適合二次開發(fā)和學(xué)術(shù)研究。Wan2.1模型基于因果3D VAE和視頻Diffusion Transformer架構(gòu)，能夠高效進(jìn)行時(shí)空壓縮與長(zhǎng)時(shí)程依賴建模。在權(quán)威評(píng)測(cè)集Vbench中，14B版本以總分86.22%的成績(jī)顯著超越了包括Sora、Luma和Pika在內(nèi)的多個(gè)國(guó)內(nèi)外模型，穩(wěn)居第一。Wan2.1采用Apache 2.0協(xié)議開源，支持多種主流框架，已在GitHub、HuggingFace及魔搭社區(qū)上線，為開發(fā)者提供了便捷的使用與部署環(huán)境。

Wan2.1的主要功能

• 文本生成視頻：根據(jù)用戶輸入的文本描述生成相應(yīng)的視頻內(nèi)容，支持中英文長(zhǎng)文本指令，精準(zhǔn)還原場(chǎng)景切換與角色互動(dòng)。
• 圖像生成視頻：以圖像為基礎(chǔ)生成動(dòng)態(tài)視頻，適合將靜態(tài)圖像轉(zhuǎn)化為生動(dòng)視頻的需求，提供更高的創(chuàng)作控制力。
• 復(fù)雜生成：穩(wěn)定呈現(xiàn)人物或物體的復(fù)雜，如旋轉(zhuǎn)、跳躍和轉(zhuǎn)身，支持高級(jí)運(yùn)鏡控制。
• 物理規(guī)律模擬：精準(zhǔn)模擬碰撞、反彈和切割等真實(shí)物理場(chǎng)景，生成符合物理法則的視頻內(nèi)容。
• 多風(fēng)格生成：支持多樣化的視頻風(fēng)格與質(zhì)感，滿足不同的創(chuàng)作需求，同時(shí)支持多種長(zhǎng)寬比的視頻輸出。
• 文字特效生成：具備中文文字生成能力，支持中英文文字特效，為視頻增添視覺吸引力。

Wan2.1的技術(shù)原理

• 因果3D VAE架構(gòu)：Wan2.1自研的因果3D VAE架構(gòu)專為視頻生成而設(shè)計(jì)，通過編碼器將輸入數(shù)據(jù)壓縮為潛在空間表示，再通過解碼器重建輸出。在視頻生成中，3D VAE能有效處理時(shí)空信息，結(jié)合因果性約束，確保生成視頻的連貫性和邏輯性。
• 視頻Diffusion Transformer架構(gòu)：基于主流的擴(kuò)散模型和Transformer架構(gòu)，擴(kuò)散模型通過逐步去噪生成數(shù)據(jù)，而Transformer則利用自注意力機(jī)制捕捉長(zhǎng)時(shí)程依賴關(guān)系。
• 模型訓(xùn)練與推理優(yōu)化：
  • 訓(xùn)練階段：采用DP（數(shù)據(jù)并行）與FSDP（全Sharded數(shù)據(jù)并行）相結(jié)合的分布式策略，加速文本與視頻編碼模塊的訓(xùn)練。對(duì)于擴(kuò)散模塊，使用DP、FSDP、RingAttention和Ulysses混合的并行策略，進(jìn)一步提升訓(xùn)練效率。
  • 推理階段：通過CP（通道并行）進(jìn)行分布式加速，減少單個(gè)視頻生成的延遲。針對(duì)大模型，應(yīng)用模型切分技術(shù)，進(jìn)一步優(yōu)化推理效率。

Wan2.1的性能優(yōu)勢(shì)

• 卓越的生成質(zhì)量：在Vbench評(píng)測(cè)中，14B參數(shù)的專業(yè)版本總分達(dá)到86.22%，顯著超越其他國(guó)內(nèi)外模型（如Sora、Luma、Pika等），穩(wěn)居榜首。
• 支持消費(fèi)級(jí)GPU：1.3B參數(shù)的極速版僅需8.2GB顯存即可生成480P視頻，兼容幾乎所有消費(fèi)級(jí)GPU，約在4分鐘內(nèi)在RTX 4090上生成5秒的480P視頻。
• 多功能支持：涵蓋文本生成視頻、圖像生成視頻、視頻編輯、文本生成圖像及視頻生成音頻等多種任務(wù)，同時(shí)具備視覺特效與文字渲染能力，滿足多樣化的創(chuàng)作需求。
• 高效的數(shù)據(jù)處理與架構(gòu)優(yōu)化：基于自研的因果3D VAE和優(yōu)化訓(xùn)練策略，支持任意長(zhǎng)度視頻的高效編解碼，顯著降低推理內(nèi)存占用，提升訓(xùn)練與推理效率。

Wan2.1的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://wanxai.com
• GitHub倉(cāng)庫(kù)：https://github.com/Wan-Video/Wan2.1
• HuggingFace模型庫(kù)：https://huggingface.co/Wan-AI

Wan2.1的效果展示

• 復(fù)雜：擅長(zhǎng)生成涵蓋廣泛肢體動(dòng)作、復(fù)雜旋轉(zhuǎn)、動(dòng)態(tài)場(chǎng)景切換以及流暢鏡頭的逼真視頻。

• 物理模擬：能夠生成準(zhǔn)確模擬現(xiàn)實(shí)世界物理規(guī)律和逼真物體交互的視頻。

• 影院級(jí)別畫質(zhì)：提供如同電影般的視覺效果，擁有豐富的紋理與多樣化的風(fēng)格化特效。

• 可控編輯：具備通用編輯模型，可以通過圖像或視頻參考進(jìn)行精準(zhǔn)的編輯。

Wan2.1的應(yīng)用場(chǎng)景

• 影視制作與特效：能夠生成復(fù)雜的動(dòng)作場(chǎng)景、特效鏡頭或虛擬角色動(dòng)畫，從而顯著降低拍攝成本與時(shí)間。
• 廣告與營(yíng)銷：快速生成創(chuàng)意廣告視頻，依據(jù)產(chǎn)品特點(diǎn)或品牌調(diào)性定制個(gè)性化視頻內(nèi)容。
• 教育與培訓(xùn)：生成教育視頻，如科學(xué)實(shí)驗(yàn)演示、歷史場(chǎng)景重現(xiàn)或語(yǔ)言學(xué)習(xí)視頻，以增強(qiáng)學(xué)習(xí)體驗(yàn)。
• 游戲開發(fā)：用于生成游戲內(nèi)部的動(dòng)畫、過場(chǎng)視頻或虛擬角色動(dòng)作，提升游戲的視覺效果與沉浸感。
• 個(gè)人創(chuàng)作與社交媒體：幫助創(chuàng)作者迅速生成創(chuàng)意視頻，適用于社交媒體分享、Vlog制作或個(gè)人項(xiàng)目展示。