Sketch2Anim – 愛丁堡大學等機構推出的2D草圖轉3D動畫框架

Sketch2Anim是什么

Sketch2Anim是由愛丁堡大學與Snap Research、東北大合開發的一種自動化框架，旨在將2D草圖故事板迅速轉化為高質量的3D動畫。該框架基于條件合成技術，通過3D關鍵姿勢、關節軌跡和動作詞的精確控制來實現動畫的生成。其包含兩個核心模塊：多條件生成器與2D、3D神經映射器。Sketch2Anim能夠生成自然流暢的3D動畫，并支持交互式編輯，顯著提升了動畫制作的效率和靈活性。

Sketch2Anim的主要功能

• 自動化轉換：快速將2D草圖故事板轉化為3D動畫，簡化手動制作過程。
• 高品質動畫：生成順暢、自然的3D動畫，支持多個片段之間的平滑過渡。
• 交互式編輯：用戶可以實時調整生成的動畫，例如修改關鍵姿勢或軌跡，以增強設計的靈活性。
• 效率提升：自動化流程顯著提高了動畫制作的效率，支持快速的設計迭代。

Sketch2Anim的技術原理

• 多條件生成器：基于擴散模型，結合軌跡ControlNet和關鍵姿勢適配器。軌跡ControlNet負責將關節軌跡嵌入擴散模型中，從而控制全局動態，而關鍵姿勢適配器則在此基礎上進一步細化局部靜態姿勢，確保生成的動畫準確符合輸入的關鍵姿勢。
• 2D-3D神經映射器：包含2D與3D的關鍵姿勢和軌跡編碼器，在共享的嵌入空間中對齊2D草圖和3D約束，從而實現直接的2D到3D動畫控制。
• 融合與優化：通過確定性DDIM逆過程和引導去噪，將多個動畫片段進行平滑過渡，生成完整的動畫。借助分類器引導和二階優化方法，進一步優化生成的動畫，使其更符合輸入的2D條件。
• 數據處理與增強：利用HumanML3D數據集進行訓練，包含14,646個動作及44,970個相應的注釋。通過相機視角增強、關節擾動和身體比例擾動，生成多樣化的2D關鍵姿勢和軌跡，以提升模型的泛化能力。

Sketch2Anim的項目地址

• 項目官網：https://zhongleilz.github.io/Sketch2Anim/
• arXiv技術論文：https://arxiv.org/pdf/2504.19189

Sketch2Anim的應用場景

• 影視動畫：用于影視制作的前期預覽，提升制作效率。
• 游戲開發：加速游戲動作設計和劇情動畫的制作過程。
• 廣告宣傳：將創意草圖轉變為3D動畫廣告，增強視覺吸引力，吸引觀眾的注意。
• 教育培訓：幫助學生更好地理解復雜的知識內容。
• VR/AR應用：將2D草圖直接轉換為沉浸式3D動畫，豐富虛擬場景體驗。

常見問題

• Sketch2Anim適合哪些用戶使用？：Sketch2Anim適合動畫制作人員、游戲開發者、廣告創意人員以及教育工作者等各種用戶。
• 使用Sketch2Anim需要哪些技能？：用戶不需要專業的動畫制作技能，但了解基本的動畫概念將有助于更好地使用該工具。
• Sketch2Anim支持哪些平臺？：該框架設計為跨平臺使用，具體支持情況可參考項目官網。
• Sketch2Anim的輸出格式是什么？：生成的3D動畫可導出為多種常見的動畫文件格式，具體可在項目官網查看。