Wonder Animation

Wonder Animation 是一款由 Autodesk 旗下的 Wonder Dynamics 開發(fā)的創(chuàng)新 AI 技術(shù)，現(xiàn)已在 Wonder Studio 上線測試版。它利用 Video to 3D Scene 技術(shù)，能夠?qū)⒁曨l序列轉(zhuǎn)化為 3D 動畫場景，有效提升動畫電影的制作效率。

Wonder Animation是什么

Wonder Animation 是一項前沿的 AI 技術(shù)，旨在快速將視頻序列轉(zhuǎn)換為 3D 動畫場景，從而加速動畫電影的制作過程。該工具支持處理多剪輯和不同鏡頭的視頻，利用 AI 技術(shù)在三維空間中重建場景，精確匹配攝像機、角色與環(huán)境的相對位置與動作，生成包含完整攝像機設(shè)置與角色動畫的虛擬場景。Wonder Animation 讓藝術(shù)家在保持完全創(chuàng)意控制的情況下，能夠?qū)⑷魏螆鼍稗D(zhuǎn)化為富有表現(xiàn)力的 3D 環(huán)境，從而提高制作效率并降低技術(shù)門檻。

Wonder Animation

Wonder Animation的主要功能

視頻轉(zhuǎn)3D場景：將視頻序列轉(zhuǎn)化為 3D 動畫場景，顯著加快動畫電影制作。
多剪輯處理：支持編輯包含多個剪輯和不同鏡頭（如廣角、中景、特寫）的視頻序列。
AI場景重建：運用 AI 技術(shù)在三維空間中重建場景，準(zhǔn)確匹配攝像機與角色及環(huán)境的相對位置和動作。
虛擬場景生成：創(chuàng)建包含攝像機設(shè)置和角色動畫的虛擬場景。
完全可編輯的內(nèi)容：在主流軟件（如 Maya、Blender 或 Unreal）中，對動畫、角色、環(huán)境、照明和攝像機跟蹤數(shù)據(jù)進行全面編輯。
創(chuàng)意掌控：與依賴自動化輸出的生成式 AI 工具不同，Wonder Animation 強調(diào)藝術(shù)家的創(chuàng)意掌控權(quán)，支持藝術(shù)家實現(xiàn)其創(chuàng)意愿景。

Wonder Animation的技術(shù)原理

視頻捕捉與分析：通過攝像機捕捉包括多個剪輯和不同鏡頭的視頻序列。
深度學(xué)習(xí)與計算機視覺：應(yīng)用深度學(xué)習(xí)與計算機視覺技術(shù)，分析視頻中的動作和場景，識別角色、攝像機位置及環(huán)境元素。
3D空間重構(gòu)：使用 AI 算法在三維空間中重建視頻場景，確保角色、攝像機和環(huán)境的位置與動作的精準(zhǔn)。
數(shù)據(jù)匹配與同步：將重建的 3D 場景與原始視頻數(shù)據(jù)進行匹配，以確保動作與場景之間的同步與一致性。
格式輸出與集成：將重建的 3D 場景導(dǎo)出為可在3D軟件中編輯的格式，如 Maya、Blender 或 Unreal Engine，方便藝術(shù)家進行創(chuàng)作與調(diào)整。
云渲染技術(shù)：利用云渲染技術(shù)提升效率，釋放本地計算資源，加速動畫制作流程。

Wonder Animation的項目地址

項目官網(wǎng)：wonder-animation-video-to-3d-scene-technology

Wonder Animation的應(yīng)用場景

動畫電影制作：在傳統(tǒng)動畫電影制作中，加速角色動畫的開發(fā)，減少對物理動作捕捉設(shè)備的依賴。
視頻游戲開發(fā)：游戲開發(fā)者能夠快速將實拍視頻變換為游戲中的 3D 動畫場景，從而提升游戲環(huán)境與角色的真實感。
虛擬制作：在影視制作中，創(chuàng)建虛擬背景與環(huán)境，使演員在綠幕或 LED 墻前能夠?qū)崟r看到與虛擬環(huán)境的互動。
增強現(xiàn)實（AR）和虛擬現(xiàn)實（VR）：在 AR 和 VR 應(yīng)用中，生成逼真的 3D 環(huán)境與角色，提升用戶體驗。
廣告和營銷：廣告商能夠迅速制作引人注目的 3D 動畫廣告，增強廣告的視覺沖擊力。