Sitcom-Crafter

Sitcom-Crafter – 北航聯合港中文等高校推出的 3D 人類動作生成系統

Sitcom-Crafter是什么

Sitcom-Crafter 是由北京航空航天大學、香港中文大學（深圳）、悉尼科技大學和中山大學等多所高校共同研發的一個3D場景人類動作生成系統。該系統能夠根據用戶提供的長篇劇情引導，智能生成豐富多樣且符合物理規律的動作表現，涵蓋人類行走、人與場景的互動，以及人類之間的交互。Sitcom-Crafter 由八個模塊組成，其中三個核心模塊專注于動作生成，五個增強模塊則致力于優化動作的流暢性、同步性和碰撞修正等方面。其創新的3D場景感知技術和自監督簽名距離函數（SDF）策略，能夠在無需額外數據采集的情況下生成符合物理邏輯的動作，極大地提升了創作效率，為動畫和游戲設計提供了高效、智能化的解決方案。

Sitcom-Crafter

Sitcom-Crafter的主要功能

人類行走：角色在3D環境中自然行走，展現真實的動態表現。
人類與場景交互：角色與環境中的物體進行符合物理規律的互動。
人類之間交互：生成角色間協調的動作，減少碰撞并優化動作的同步性。
增強功能：
- 劇情解析：AI自動分析劇本，將其轉化為具體的角色動作指令。
- 同步：確保不同模塊生成的動作在時間上保持一致性。
- 手部姿態增強：通過檢索數據庫中的手部姿態，提升的自然性。
- 碰撞修正：自動檢測并修正角色之間的碰撞。
- 3D重定向：將生成的動作映射至現有的3D數字角色模型，以提升視覺效果。

Sitcom-Crafter的技術原理

生成模塊：
- 人類行走生成：借助前沿技術（如GAMMA），通過深度學習模型生成角色的行走動作。
- 人與場景交互生成：根據DIMOS等方法，結合場景信息生物與環境物體的交互。
- 人與人交互生成：采用自監督的場景感知方法，合成3D場景中的SDF點，以模擬周圍環境，從而避免角色與場景間的碰撞，并基于擴散模型生成多人交互，考慮角色之間的相對位置和。
場景感知技術：
- SDF點合成：基于預處理的數據，定義區域并隨機生成周圍物體的SDF點，以模擬場景中的障礙物。
- 碰撞檢測與修正：SDF點檢測角色與場景或彼此之間的碰撞，調整軌跡或速度以避免碰撞。
劇情理解與指令生成：利用大型語言模型（如Gemini 1.5）解析劇情文本，將其轉化為具體的指令。通過自然語言處理技術，將復雜劇情分解為多個命令，并分配給相應的生成模塊。
增強模塊：
- 同步：通過插值技術（如Slerp）確保不同模塊生成的在時間上平滑過渡。
- 手部姿態檢索：CLIP模型檢索與文本描述最相似的手部姿態，并融入生成的中。
- 碰撞修正：調整速度或路徑，以避免角色間的碰撞。
- 3D重定向：將生成的映射到高質量的3D數字角色模型，提升視覺效果。
統一的表示：系統采用標記點作為統一的表示，支持從不同數據源（如SMPL、SMPL-X模型）提取數據，增強系統的擴展性和兼容性。