EchoMimicV2是一款由螞蟻集團(tuán)開發(fā)的先進(jìn)半身數(shù)字人動(dòng)畫生成工具。它基于參考圖片、音頻剪輯和手部姿勢序列，能夠高效生成高質(zhì)量的動(dòng)畫視頻，確保音頻內(nèi)容與動(dòng)畫之間的完美契合。相比于前代產(chǎn)品EchoMimicV1，EchoMimicV2在生成逼真的人頭動(dòng)畫的基礎(chǔ)上，進(jìn)一步擴(kuò)展到了完整的半身動(dòng)畫，能夠?qū)崿F(xiàn)中英文語音與動(dòng)作之間的無縫轉(zhuǎn)換。

EchoMimicV2是什么

EchoMimicV2是螞蟻集團(tuán)推出的一種半身數(shù)字人動(dòng)畫生成技術(shù)。它通過結(jié)合參考圖片、音頻剪輯和手勢序列，生成高質(zhì)量的動(dòng)畫視頻，確保音頻與動(dòng)畫動(dòng)作的一致性。EchoMimicV2在前版本的基礎(chǔ)上進(jìn)行升級(jí)，現(xiàn)已能夠生成完整的半身動(dòng)畫，支持中英文語音的無縫轉(zhuǎn)換。其技術(shù)包括音頻-姿勢動(dòng)態(tài)協(xié)調(diào)策略，利用姿勢采樣和音頻擴(kuò)散，增強(qiáng)細(xì)節(jié)表現(xiàn)力，并減少冗余條件。此外，EchoMimicV2采用頭部局部注意力技術(shù)整合頭部數(shù)據(jù)，并設(shè)計(jì)特定階段的去噪損失，優(yōu)化動(dòng)畫的整體質(zhì)量。

EchoMimicV2的主要功能

• 音頻驅(qū)動(dòng)動(dòng)畫生成：通過音頻剪輯驅(qū)動(dòng)角色的面部表情和身體動(dòng)作，實(shí)現(xiàn)音頻與動(dòng)畫的完美同步。
• 半身動(dòng)畫制作：擴(kuò)展了從僅生成頭部動(dòng)畫到生成完整上半身動(dòng)畫的能力。
• 簡化控制條件：減少動(dòng)畫生成過程中所需的復(fù)雜條件，使動(dòng)畫制作更加簡便。
• 手勢與表情同步：結(jié)合手部姿勢序列與音頻，生成自然且協(xié)調(diào)的手勢和面部表情。
• 多語言支持：支持中文和英文音頻，能夠根據(jù)不同語言內(nèi)容生成相應(yīng)的動(dòng)畫。

EchoMimicV2的技術(shù)原理

• 音頻-姿勢動(dòng)態(tài)協(xié)調(diào)（APDH）：
  • 姿勢采樣（Pose Sampling）：逐步減少對(duì)姿勢條件的依賴，使音頻條件在動(dòng)畫生成中扮演更重要的角色。
  • 音頻擴(kuò)散（Audio Diffusion）：將音頻條件的影響從嘴唇擴(kuò)散到整個(gè)面部，再到全身，增強(qiáng)音頻與動(dòng)畫的同步性。
• 頭部局部注意力（Head Partial Attention,HPA）：在訓(xùn)練過程中整合頭部數(shù)據(jù)，提升面部表情的細(xì)節(jié)表現(xiàn)，無需額外插件或模塊。
• 特定階段去噪損失（Phase-specific Denoising Loss,PhD Loss）：將去噪過程分為姿勢主導(dǎo)、細(xì)節(jié)主導(dǎo)和質(zhì)量主導(dǎo)三個(gè)階段，每個(gè)階段均有特定優(yōu)化目標(biāo)。
• 潛在擴(kuò)散模型（Latent Diffusion Model,LDM）：利用變分自編碼器（VAE）將圖像映射到潛在空間，在訓(xùn)練過程中逐步添加噪聲，并對(duì)每個(gè)時(shí)間步的噪聲進(jìn)行估計(jì)和去除。
• 基于ReferenceNet的骨干網(wǎng)絡(luò)：通過ReferenceNet從參考圖像中提取特征，并將其注入去噪U(xiǎn)-Net中，保持生成圖像與參考圖像之間的一致性。

EchoMimicV2的生成效果展示

• 效果一：中文音頻驅(qū)動(dòng)

• 效果二：英文音頻驅(qū)動(dòng)

• 效果三：FLUX生成的參考圖像

EchoMimicV2的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：antgroup.github.io/ai/echomimic_v2
• GitHub倉庫：https://github.com/antgroup/echomimic_v2
• HuggingFace模型庫：https://huggingface.co/BadToBest/EchoMimicV2
• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.10061

EchoMimicV2的應(yīng)用場景

• 虛擬主播：用于創(chuàng)建虛擬新聞主播或直播主持人，支持中文和英文直播，提升內(nèi)容生產(chǎn)效率與多樣性。
• 在線教育：可以制作虛擬教師或講師，提供豐富的在線課程與培訓(xùn)資源，增強(qiáng)教育的可及性。
• 娛樂與游戲：在游戲中生成逼真的非玩家角色（NPC），提供更自然流暢的互動(dòng)體驗(yàn)。
• 電影與視頻制作：在動(dòng)作捕捉和后期制作中應(yīng)用，減少實(shí)際拍攝的成本與復(fù)雜性，提高制作效率。
• 客戶服務(wù)：作為虛擬客服代表，提供多語言客戶支持，提升服務(wù)質(zhì)量與響應(yīng)速度。