Motion Prompting：谷歌攜手密歇根與布朗大學推出創新軌跡控制視頻生成模型

Motion Prompting是一種由Google DeepMind、密歇根大學和布朗大合開發的視頻生成技術。該技術基于軌跡的控制，能夠靈活地指導視頻內容的生成。用戶可以通過設計“提示”，類似于文本提示，激發視頻模型的多種能力，包括對對象的控制、相機的調節以及物理現象的模擬，從而顯著提升視頻生成的靈活性和準確性。

Motion Prompting是什么

Motion Prompting是一項先進的視頻生成技術，由Google DeepMind、密歇根大學及布朗大學共同推出。該技術利用軌跡（motion trajectories）來控制和引導視頻內容的生成。通過點軌跡作為的表示方式，Motion Prompting能夠編碼從單一到復雜場景的多種形式。用戶可以設計“提示”，通過這些提示激發視頻模型的多種功能，如對象和相機控制、物理現象的模擬等。這項技術為未來的交互式視頻生成和世界模型查詢開辟了新的可能性。

Motion Prompting的主要功能

• 對象控制：用戶可以通過提示精確控制視頻中具體對象的，例如旋轉或移動。
• 相機控制：實現視頻中相機的動態調節，包括平移、旋轉及變焦等操作。
• 物理現象模擬：展示視頻中各種物理現象，如流體動力學（水流、煙霧）和剛體動力學。
• 同時對象和相機控制：結合對象和相機控制的提示，創造復雜的場景交互效果。
• 拖動式圖像編輯：支持用戶通過拖動操作編輯動態圖像，增強編輯的直觀性。
• 轉移：將一個視頻中的轉移至另一個視頻的第一幀，實現的再利用。
• 放大：放大視頻中的微小，使其更為顯著。

Motion Prompting的技術原理

• 點軌跡表示：采用點軌跡（point trajectories）作為的表示方式，捕捉視頻中任意數量點的，包括對象特定動作或全局場景的動態。
• 條件視頻生成模型：在預訓練的視頻擴散模型基礎上，開發一個控制網絡（ControlNet），可接受提示作為條件輸入。
• 提示構建：將用戶輸入（如鼠標拖動）轉換為點軌跡，或利用計算機視覺技術根據高級用戶請求生成詳細的軌跡。
• 軌跡編碼：將點軌跡編碼為空間-時間體積（space-time volume），在每個軌跡訪問的位置放置一個獨特的嵌入向量。
• 模型訓練：使用從視頻中提取的軌跡數據訓練模型，根據軌跡提示生成對應視頻。
• 軌跡稀疏度調整：用戶可以調整軌跡的稀疏程度，以平衡控制的精細度與視頻模型的度。
• 多任務處理：通過結合不同的提示，在單一模型中實現多種復雜的視頻生成任務。

Motion Prompting的項目地址

• 項目官網：motion-prompting.github.io
• arXiv技術論文：https://arxiv.org/pdf/2412.02700

Motion Prompting的應用場景

• 電影和視頻制作：導演和視頻制作人可以借助該技術創造復雜的動態場景，如特效鏡頭和動作序列，而無需繁瑣的手動動畫。
• 游戲開發：游戲開發者能夠生成動態背景視頻，或為游戲內角色和環境創造生動的互動效果。
• 虛擬現實（VR）和增強現實（AR）：在VR和AR應用中，創造更自然和真實的虛擬環境及互動體驗。
• 交互式媒體藝術：藝術家能夠創作出新的交互式藝術作品，觀眾可以通過身體動作與藝術作品進行互動。
• 教育和培訓：通過模擬真實世界的物理現象和動態場景，應用于教育領域，如物理、工程和醫學培訓。

常見問題

• Motion Prompting的使用難度如何？：Motion Prompting的設計旨在用戶友好，用戶可以通過簡單的操作來創建和編輯提示。
• 對設備有什么要求嗎？：該技術對計算設備的要求較高，建議使用性能較強的計算機進行操作。
• 是否支持多種視頻格式？：Motion Prompting支持多種主流視頻格式，以便用戶方便地進行視頻生成和編輯。