MotionCanvas – 港中文和 Adobe 等機構推出的可控圖像到視頻生成方法

MotionCanvas是什么

MotionCanvas是由香港中文大學、Adobe研究院和莫納什大合開發的一種圖像到視頻生成技術，旨在將靜態圖像轉變為富有動態效果的短片。這一創新技術引入了設計模塊，使得用戶能夠直觀地規劃相機和物體的，從而實現復雜的鏡頭設計。通過信號轉換模塊，MotionCanvas能夠將用戶在三維空間中的意圖精確地轉化為二維屏幕空間的控制信號，進而驅動視頻生成模型輸出高質量的視頻內容。此外，MotionCanvas還支持對相機和物體進行聯合控制，能夠精細化地管理物體的局部，生成復雜軌跡的長視頻。

MotionCanvas的主要功能

• 相機與物體的聯合控制：用戶能夠在輸入圖像上直觀設計相機的軌跡（如平移、旋轉、變焦等）以及物體的全局（如移動和縮放）和局部（如手臂擺動等）。
• 基于3D感知的控制：系統通過深度估計和信號轉換模塊，能夠實現三維場景空間的設計，并將其轉變為二維屏幕空間的信號，從而生成具有三維感知效果的視頻。
• 長視頻生成能力：支持生成任意長度的視頻，能夠實現復雜的軌跡和連貫的鏡頭設計。
• 多樣化應用場景：可應用于簡單的視頻編輯任務，比如轉移和基于初始幀的編輯視頻生成。

MotionCanvas的技術原理

• 設計模塊：用戶將輸入圖像視作“畫布”，在三維場景空間中設計相機和物體的。相機是基于指定關鍵幀的相機姿態實現，而物體則是通過場景錨定的邊界框和稀疏點軌跡來定義。
• 信號轉換模塊：該模塊將用戶在三維空間中設計的意圖轉化為二維屏幕空間中的信號。它依靠深度估計和相機參數估計，將三維相機路徑轉變為二維點軌跡，并將場景錨定的邊界框和點軌跡轉換為屏幕空間信號。
• 條件視頻生成模型：該模型基于預訓練的DiT（Diffusion Transformer）模型進行微調，使其能夠根據屏幕空間中的條件生成視頻。通過編碼點軌跡和邊界框序列作為條件信號，該模型生成符合用戶設計意圖的視頻。
• 自回歸生成技術：通過自回歸的方法，將生成的視頻片段作為后續生成的條件，逐步生成連續的視頻內容，有效避免直接生成長視頻時可能出現的不連貫問題。

MotionCanvas的項目地址

• 項目官網：https://motion-canvas25.github.io/
• arXiv技術論文：https://arxiv.org/pdf/2502.04299

MotionCanvas的應用場景

• 電影與視頻制作：能夠快速設計復雜的鏡頭效果，將靜態圖像轉化為動態視頻，適用于廣告、宣傳等領域，顯著提升視覺吸引力。
• 動畫創作：支持生成動畫預覽和角色動作，從靜態故事板或圖像中提取動態效果，提高創作的效率。
• 虛擬現實與增強現實體驗：為VR和AR應用生成動態場景，增強用戶的沉浸感，并支持實時交互。
• 游戲開發：用于制作游戲過場動畫和動態場景，提升游戲敘事性和視覺效果，為玩家帶來更豐富的體驗。
• 教育與培訓：將靜態教學圖像轉化為動態視頻，應用于課堂講解和專業模擬訓練，增強教學的趣味性和效果。

常見問題

• MotionCanvas支持哪些圖像格式？：MotionCanvas支持多種常見的圖像格式，具體可在官網查看。
• 是否需要專業的技術背景才能使用MotionCanvas？：不需要，MotionCanvas設計了用戶友好的界面，任何人都可以輕松上手。
• 生成的視頻質量如何？：MotionCanvas能夠生成高質量的視頻，具體效果可參考官網展示的樣例。
• 是否支持實時編輯？：MotionCanvas支持實時設計和預覽效果，用戶可以即時看到編輯的結果。