Sitcom-Crafter – 北航聯(lián)合港中文等高校推出的 3D 人類動作生成系統(tǒng)

Sitcom-Crafter是什么

Sitcom-Crafter 是由北京航空航天大學(xué)、香港中文大學(xué)（深圳）、悉尼科技大學(xué)和中山大學(xué)等多所高校共同研發(fā)的一個3D場景人類動作生成系統(tǒng)。該系統(tǒng)能夠根據(jù)用戶提供的長篇劇情引導(dǎo)，智能生成豐富多樣且符合物理規(guī)律的動作表現(xiàn)，涵蓋人類行走、人與場景的互動，以及人類之間的交互。Sitcom-Crafter 由八個模塊組成，其中三個核心模塊專注于動作生成，五個增強(qiáng)模塊則致力于優(yōu)化動作的流暢性、同步性和碰撞修正等方面。其創(chuàng)新的3D場景感知技術(shù)和自監(jiān)督簽名距離函數(shù)（SDF）策略，能夠在無需額外數(shù)據(jù)采集的情況下生成符合物理邏輯的動作，極大地提升了創(chuàng)作效率，為動畫和游戲設(shè)計(jì)提供了高效、智能化的解決方案。

Sitcom-Crafter的主要功能

• 人類行走：角色在3D環(huán)境中自然行走，展現(xiàn)真實(shí)的動態(tài)表現(xiàn)。
• 人類與場景交互：角色與環(huán)境中的物體進(jìn)行符合物理規(guī)律的互動。
• 人類之間交互：生成角色間協(xié)調(diào)的動作，減少碰撞并優(yōu)化動作的同步性。
• 增強(qiáng)功能：
  • 劇情解析：AI自動分析劇本，將其轉(zhuǎn)化為具體的角色動作指令。
  • 同步：確保不同模塊生成的動作在時間上保持一致性。
  • 手部姿態(tài)增強(qiáng)：通過檢索數(shù)據(jù)庫中的手部姿態(tài)，提升的自然性。
  • 碰撞修正：自動檢測并修正角色之間的碰撞。
  • 3D重定向：將生成的動作映射至現(xiàn)有的3D數(shù)字角色模型，以提升視覺效果。

Sitcom-Crafter的技術(shù)原理

• 生成模塊：
  • 人類行走生成：借助前沿技術(shù)（如GAMMA），通過深度學(xué)習(xí)模型生成角色的行走動作。
  • 人與場景交互生成：根據(jù)DIMOS等方法，結(jié)合場景信息生物與環(huán)境物體的交互。
  • 人與人交互生成：采用自監(jiān)督的場景感知方法，合成3D場景中的SDF點(diǎn)，以模擬周圍環(huán)境，從而避免角色與場景間的碰撞，并基于擴(kuò)散模型生成多人交互，考慮角色之間的相對位置和。
• 場景感知技術(shù)：
  • SDF點(diǎn)合成：基于預(yù)處理的數(shù)據(jù)，定義區(qū)域并隨機(jī)生成周圍物體的SDF點(diǎn)，以模擬場景中的障礙物。
  • 碰撞檢測與修正：SDF點(diǎn)檢測角色與場景或彼此之間的碰撞，調(diào)整軌跡或速度以避免碰撞。
• 劇情理解與指令生成：利用大型語言模型（如Gemini 1.5）解析劇情文本，將其轉(zhuǎn)化為具體的指令。通過自然語言處理技術(shù)，將復(fù)雜劇情分解為多個命令，并分配給相應(yīng)的生成模塊。
• 增強(qiáng)模塊：
  • 同步：通過插值技術(shù)（如Slerp）確保不同模塊生成的在時間上平滑過渡。
  • 手部姿態(tài)檢索：CLIP模型檢索與文本描述最相似的手部姿態(tài)，并融入生成的中。
  • 碰撞修正：調(diào)整速度或路徑，以避免角色間的碰撞。
  • 3D重定向：將生成的映射到高質(zhì)量的3D數(shù)字角色模型，提升視覺效果。
• 統(tǒng)一的表示：系統(tǒng)采用標(biāo)記點(diǎn)作為統(tǒng)一的表示，支持從不同數(shù)據(jù)源（如SMPL、SMPL-X模型）提取數(shù)據(jù)，增強(qiáng)系統(tǒng)的擴(kuò)展性和兼容性。

Sitcom-Crafter的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://windvchen.github.io/Sitcom-Crafter/
• GitHub倉庫：https://github.com/WindVChen/Sitcom-Crafter
• arXiv技術(shù)論文：https://arxiv.org/pdf/2410.10790

Sitcom-Crafter的應(yīng)用場景

• 動畫制作：迅速生成角色動作，減少手動動畫的工作量，支持多樣化動作和劇情驅(qū)動的動畫設(shè)計(jì)。
• 游戲開發(fā)：為非玩家角色設(shè)計(jì)自然行為和交互動作，支持動態(tài)劇情生成和實(shí)時動作反饋，提升游戲的沉浸感。
• 虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）：生成虛擬角色的自然交互和場景模擬，增強(qiáng)用戶體驗(yàn)及交互的自然性。
• 影視制作：用于早期創(chuàng)意驗(yàn)證、特效場景設(shè)計(jì)和動作捕捉替代，提升制作效率。
• 教育與培訓(xùn)：生成模擬訓(xùn)練中的角色行為，創(chuàng)建虛擬教學(xué)助手，支持安全演示和復(fù)雜場景的教學(xué)。