CVPR 2024 | 面部+肢體動畫，一個框架搞定從音頻生成數字人表情與動作

AIGC動態歡迎閱讀

原標題：CVPR 2024 | 面部+肢體動畫，一個框架搞定從音頻生成數字人表情與動作
關鍵字：肢體,動作,面部,音頻,提示
文章來源：機器之心
內容字數：5511字

內容摘要：

機器之心專欄
機器之心編輯部AI 數字人面部與肢體的驅動算法作為數字人研發的重要環節，可以大幅度降低 VR Chat、虛擬直播和游戲 NPC 等領域中的驅動成本。
近年來，基于語音生成面部、肢體和手部的動作的各類基線模型已經逐漸成熟。然而，直接將不同模型的動畫結果混合會導致最終全身整體的動畫不協調。研究者逐漸考慮使用統一的框架來同時生成面部表情和肢體動作。
然而，盡管研究社區在面部的表情和肢體的動作上分別存在統一的數據標準，已有的基線模型僅在的數據格式上進行訓練和評估，比如 FLAME (面部) 和 AMASS (肢體)。社區仍然缺少面向全身的，格式統一的訓練數據和基線模型。
針對此問題，東京大學，清華大學，德國馬普所的研究者聯合提出了 EMAGE，一個從音頻和動作的掩碼中生體全身動作的框架，包括面部、局部肢體、手部和全局。論文地址：https://arxiv.org/abs/2401.00374
項目主頁：https://pantomatrix.github.io/EMAGE/
視頻結果：https://www.youtube.com/watch?v=T0OYPvVi

原文鏈接：CVPR 2024 | 面部+肢體動畫，一個框架搞定從音頻生成數字人表情與動作

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺