萬相2.1 – 通義萬相最新推出的視頻生成模型

萬相2.1是阿里巴巴推出的通義萬相的最新升級版，基于自研的高效變分自編碼器（VAE）和擴散模型（DiT）架構，顯著提升了時空上下文建模的能力。它不僅支持無限長的1080P視頻高效編解碼，還首次實現了中文文本生成視頻的功能。升級后的萬相2.1在VBench榜單上名列前茅，能夠穩定展現復雜的人物動作，并逼真再現現實物理規律。同時，它提供一鍵生成中英文視頻特效的功能，具備強大的影視質感與藝術風格轉換能力。

萬相2.1是什么

萬相2.1是阿里巴巴推出的通義萬相的升級版本。它基于自研的高效VAE和DiT架構，增強了時空上下文建模的能力，支持無限長的1080P視頻高效編解碼，并首次實現中文文字生成視頻的功能。經過升級的萬相2.1在VBench榜單中名列第一，能穩定展示復雜的人物肢體，真實還原物理規律，同時支持一鍵生成中英文視頻特效，擁有強大的影視質感與藝術風格轉換能力。此外，萬相2.1還支持根據文本生成圖像，采用IC-LoRA圖像生成訓練方法，提升了文本到圖像的上下文能力，使得生成的圖像與用戶的文本描述緊密相關。

萬相2.1的主要功能

• 視頻生成
  • 復雜動作展現：能夠穩定表現各種復雜的人物動作，如旋轉、跳躍、轉身和翻滾等，使視頻內容更加生動、真實。
  • 物理規律真實再現：精準還原真實世界的物理現象，如碰撞、反彈、切割和擠壓等，增強視頻的真實感。
  • 中英文視頻特效生成：提供多種特效選項，用戶可以一鍵生成中英文視頻特效，提升視覺表現力。
  • 藝術風格轉換：具備強大的藝術風格表現能力，支持一鍵轉換視頻的影視質感與藝術風格，如電影色調、印象派風格和抽象表現等。
• 圖像生成
  • 分鏡效果還原：還原電影級別的分鏡效果，確保角色、外貌、動作、環境和燈光等元素連貫一致，將故事情節與視覺效果完美結合。
  • 四格漫畫創作：根據用戶描述的漫畫劇情與風格，快速生成四格漫畫，生動講述小故事。
  • 創意頭像定制：根據用戶的喜好與特點，定制專屬的情侶頭像或個人頭像，提供多種風格選擇，滿足不同需求。

萬相2.1的技術原理

• VAE架構：變分自編碼器（VAE）作為一種生成模型，通過編碼器將輸入數據映射到潛在空間，再通過解碼器將其映射回數據空間，實現數據生成和重建。
• DiT架構：DiT（Diffusion in Time）架構基于擴散模型，通過在時間維度逐步引入噪聲并去除噪聲生成數據，能夠有效捕捉視頻的時空結構，支持高效編解碼和高質量視頻生成。
• IC-LoRA：IC-LoRA是一種圖像生成訓練方法，通過結合圖像內容與文本描述，增強文本到圖像的上下文能力，使生成的圖像更符合用戶期待。
• 上下文建模：增強時空上下文建模能力，使得視頻內容的動作、場景和風格等元素更加自然、協調。

萬相2.1的項目地址

• 項目官網：訪問通義萬相AI視頻官方網站，開啟創作之旅。

萬相2.1的應用場景

• 影視制作：為古裝劇生成古代戰爭特效，如千軍萬馬的沖鋒、箭雨紛飛等，增強視覺效果。
• 廣告視頻制作：為飲料制作廣告，生成年輕人后的暢飲場景，突顯產品功能。
• 教學輔助：在歷史課上生成赤壁之戰的模擬視頻，幫助學生理解歷史。
• 文化創作：制作書法藝術紀錄片，展示書法家的創作過程，展現書法技巧。
• 新聞報道：針對交通事故生成模擬視頻，清晰展示事故經過。