AniPortrait是一款由騰訊開源的照片對口型視頻生成框架，能夠通過音頻和一張參考肖像圖像生成高質量的動畫，類似于阿里推出的EMO。該框架的工作流程分為兩個主要階段：首先，從音頻中提取3D面部特征并轉換為2D面部標記點；然后，運用擴散模型和模塊，將這些標記點轉化為連貫且逼真的動畫。AniPortrait的生成動畫具有自然性和多樣性，并提供了靈活的面部動作編輯和再現功能。

AniPortrait是什么

AniPortrait是騰訊開源的一款創新性框架，旨在通過音頻和參考圖像生成高質量的口型動畫。該框架主要由兩個模塊構成，分別是Audio2Lmk和Lmk2Video，能夠有效提取和轉換面部特征，生成視覺上真實的動態效果。

AniPortrait的官網入口

• GitHub代碼庫：https://github.com/Zejun-Yang/AniPortrait
• arXiv研究論文：https://arxiv.org/abs/2403.17694
• Hugging Face模型：https://huggingface.co/ZJYang/AniPortrait/tree/main
• Hugging Face Demo：https://huggingface.co/spaces/ZJYang/AniPortrait_official

AniPortrait的主要功能

• 音頻驅動的動畫生成：通過輸入音頻文件，AniPortrait能夠自動生成與之同步的面部動畫，包括嘴唇、面部表情及頭部姿勢。
• 高質量的視覺效果：利用先進的擴散模型和模塊，AniPortrait能夠生成高分辨率且視覺上逼真的肖像動畫，提供卓越的視覺體驗。
• 時間一致性：該框架確保生成的動畫在時間上流暢連貫，避免出現突兀的跳躍或不一致現象。
• 靈活性和可控性：通過3D面部表示作為中間特征，AniPortrait允許用戶對生成的動畫進行定制和調整，增強了編輯的靈活性。
• 面部表情和嘴唇動作的精確捕捉：AniPortrait通過改進的PoseGuider模塊和多尺度策略，能夠精準捕捉和再現嘴唇的細微動作及復雜表情。
• 與參考圖像的一致性：框架整合參考圖像的外觀信息，確保生成的動畫視覺上與原始肖像保持一致，避免身份不匹配的問題。

AniPortrait的工作機制

AniPortrait由兩個核心模塊構成：Audio2Lmk和Lmk2Video。

1. Audio2Lmk模塊（音頻到2D面部標記點）

Audio2Lmk模塊旨在從音頻輸入中提取一系列面部表情和嘴唇動作的3D面部網格及頭部姿勢信息。該模塊使用預訓練的wav2vec模型提取音頻特征，準確識別音頻中的發音與語調，從而為生成真實的面部動畫奠定基礎。隨后，利用音頻特征通過全連接層轉換為3D面部網格，并使用變壓器解碼器解碼姿勢序列，最終通過透視投影將信息轉換為2D面部標記點序列。

2. Lmk2Video模塊（2D面部標記點到視頻）

Lmk2Video模塊負責根據參考肖像圖像和面部標記點生成高質量的肖像視頻。該模塊借鑒AnimateAnyone的網絡架構，結合Stable Diffusion 1.5作為骨干，并通過時間模塊將多幀噪聲輸入轉換為視頻幀。還引入ReferenceNet用于提取參考圖像的外觀信息，確保視頻中的面部身份一致性。同時，增強的PoseGuider模塊采用ControlNet的多尺度策略，促進參考標記點與目標標記點之間的交互，提高了嘴唇動作的捕捉精度。

應用場景

AniPortrait可以廣泛應用于多個領域，如影視制作、游戲開發、虛擬現實、社交媒體內容創作等，為用戶提供了一種新穎的表達方式和互動體驗。

常見問題

1. AniPortrait可以用于哪些類型的音頻？
AniPortrait支持多種音頻格式，包括音樂、對話和配音等，只要音頻中包含清晰的語音信息即可。

2. 是否可以自定義生成的動畫？
是的，AniPortrait提供靈活的編輯選項，允許用戶對生成的動畫進行定制和調整。

3. 生成的動畫兼容哪些平臺？
AniPortrait生成的動畫可以在各類支持視頻播放的平臺上使用，包括社交媒體、網站和應用程序等。