Motionshop官網(wǎng)

AI角色動(dòng)畫工具，通過先進(jìn)的視頻處理和3D渲染技術(shù)，MotionShop能夠高效地將視頻中的某個(gè)角色替換為3D人物，同時(shí)不改變視頻中的其他場(chǎng)景和人物。

網(wǎng)站提供：Ai工具箱，Ai開源項(xiàng)目，Motion，shop，Motionshop，modelscope，魔搭社區(qū)，模型。

Motionshop簡(jiǎn)介

上傳一段視頻，AI自動(dòng)檢測(cè)視頻中的人物，并替換成3D卡通角色模型，生成有趣的AI視頻。

Motionshop，ai角色動(dòng)畫工具，通過先進(jìn)的視頻處理和3D渲染技術(shù)，Motionshop能夠自動(dòng)檢測(cè)視頻中的人物，并替換成3D卡通角色模型，生成有趣的AI視頻。同時(shí)不改變視頻中的其他場(chǎng)景和人物，被替換的3D角色能完整復(fù)刻原視頻中人物的動(dòng)作，動(dòng)作保持一致。

Motionshop項(xiàng)目主頁(yè)：https://aigc3d.github.io/motionshop/

Motionshop的技術(shù)原理：

1、視頻處理和背景提取： 利用視頻處理技術(shù)，從原始視頻中分離出人物，留下無人的背景。這一步涉及復(fù)雜的圖像分析和處理，以確保背景的完整性和連貫性。

角色檢測(cè)： Motionshop使用基于變換器的框架緊密融合文本信息與現(xiàn)有封閉集檢測(cè)器，實(shí)現(xiàn)零樣本對(duì)象檢測(cè)。

分割與追蹤： 成功檢測(cè)目標(biāo)后，通過視頻對(duì)象分割追蹤方法跟蹤像素級(jí)目標(biāo)區(qū)域。

修補(bǔ)： 視頻中剩余的圖像區(qū)域通過視頻修補(bǔ)技術(shù)完成，包括遞歸流完成、圖像和特征域的雙域傳播等。

2、姿勢(shì)估計(jì)： 這一步驟使用姿勢(shì)估計(jì)技術(shù)來分析視頻中人物的動(dòng)作。它涉及到對(duì)人體動(dòng)作的捕捉和分析，使用CVFFS方法估計(jì)穩(wěn)定的人體姿勢(shì)，并采用SMPL人體模型表示3D人體。

3、3D卡通角色動(dòng)畫生成： 根據(jù)估計(jì)出的姿勢(shì)和動(dòng)作，生成相應(yīng)的3D動(dòng)畫人物。這個(gè)過程需要確保3D模型的動(dòng)作與原視頻中的人物動(dòng)作相匹配。

4、光照估計(jì)： 為了讓3D模型更自然地融入原視頻背景，需要估計(jì)視頻中的光照條件，并對(duì)3D模型進(jìn)行相應(yīng)的光照處理。

5、高性能渲染： Motionshop使用如TIDE這樣的高性能光線追蹤渲染器對(duì)3D卡通角色模型進(jìn)行渲染，確保其具有高度的真實(shí)感和視覺效果。

6、視頻合成： 最后，Motionshop將渲染好的3D卡通角色合成回?zé)o人背景視頻中，生成最終的視頻成果。

Motionshop如何使用：

上傳一段視頻，AI自動(dòng)識(shí)別視頻中的主體人物，并一鍵替換成有趣的3D角色模型，生成與眾不同的AI視頻。

第一步：上傳一個(gè)包含人物的視頻（請(qǐng)保證人物完整，視頻時(shí)長(zhǎng)不超過15秒）；

第二步：選擇視頻中要替換的人物（自動(dòng)選擇）；

第三步：選擇要替換的虛擬角色模型并點(diǎn)擊生成，等待10分鐘即可生成結(jié)果。

Motionshop基本上可以平替Wonder Studio。Wonder Studio可以自動(dòng)化將現(xiàn)實(shí)場(chǎng)景中的人物轉(zhuǎn)換替代成CG 角色，還可以進(jìn)行動(dòng)畫、燈光和合成。

Motionshop官網(wǎng)入口網(wǎng)址

https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary

OpenI小編發(fā)現(xiàn)Motionshop網(wǎng)站非常受用戶歡迎，請(qǐng)?jiān)L問Motionshop網(wǎng)址入口試用。