Follow-Your-Emoji是一種由香港科技大學、騰訊混元與清華大學的研究者聯合開發的先進人像動畫框架。該框架基于擴散模型，能夠為靜態肖像添加動態表情序列，實現生動的面部動畫效果。通過精確對齊表情與肖像，該技術不僅保持了身份特征的完整性，還有效避免了身份信息的泄露。Follow-Your-Emoji支持多種風格的人像動畫，包括現實主義、卡通、雕塑及動物圖像，展現出極高的表現力和靈活性。

Follow-Your-Emoji是什么

Follow-Your-Emoji是一個基于擴散模型的人物動畫框架，通過該技術，可以將目標表情序列動態地應用于參考肖像。這一創新解決方案由香港科技大學、騰訊混元及清華大學的研究團隊共同研發。它通過表情感知標志點來精確對齊表情與肖像，確保在保證身份特征的同時，有效避免身份信息的泄露。此外，采用面部精細損失函數，進一步提升了模型對微妙表情變化的捕捉能力。該框架能夠實現多種風格的人像動畫，包含真人、卡通、雕塑甚至動物，展現出極高的控制性和表現力。

主要功能

• 動態表情同步：利用擴散模型，Follow-Your-Emoji可以將預設或實時捕捉的表情序列準確地同步到靜態肖像上，實現如眨眼、微笑、皺眉等復雜表情的動態變化。
• 身份特征保持：該框架設計了特別的機制，確保在動畫過程中參考肖像的關鍵身份特征不被改變，避免在表情劇烈變化時產生身份信息的失真。
• 夸張表情表現：通過表情感知標志點的技術，能夠捕捉并展現夸張的表情動作，尤其適合卡通和漫畫風格，增強動畫的表現力。
• 多風格適應：Follow-Your-Emoji不僅限于現實風格的肖像，還能夠適應并動畫化不同藝術風格的肖像，如卡通、雕塑及動物等，顯示出其廣泛的適用性。
• 時間連貫性：通過面部精細損失函數，框架在生成每一幀動畫時考慮前后幀的連貫性，確保動畫序列在時間上自然流暢。
• 長期動畫生成：采用漸進式生成策略，Follow-Your-Emoji能夠生成在短期和長期播放中均能保持高質量和穩定的動畫效果。
• 高度控制性：用戶可以詳細控制表情序列，從而精確調整動畫輸出，滿足個性化創作的需求。

產品官網

• 官方項目主頁：https://follow-your-emoji.github.io/
• arXiv技術論文：https://arxiv.org/abs/2406.01900

應用場景

Follow-Your-Emoji可以廣泛應用于社交媒體、動畫制作、游戲設計、虛擬現實等領域。用戶可以通過該技術為自己的肖像或角色添加生動的面部表情，提升互動性和趣味性。

常見問題

• Follow-Your-Emoji支持哪些風格的人像動畫？該框架支持多種風格，包括現實主義、卡通、雕塑及動物等。
• 如何確保身份信息的安全？框架采用了特殊機制，確保在表情變化時身份特征得以保留，防止信息泄露。
• 用戶能否自定義動畫表情？是的，用戶可以通過提供不同的輸入表情序列，精確控制動畫的輸出，實現個性化創作。

Follow-Your-Emoji的技術原理

1. 基于擴散模型的框架：該技術使用先進的擴散模型（Stable Diffusion）作為基礎，能夠生成高質量的圖像和視頻內容。
2. 表情感知標志點：利用MediaPipe等工具從動態視頻中提取3D關鍵點，并將其投影到2D平面，從而指導動畫過程。
3. 面部精細損失：引入新的損失函數，通過面部遮罩和表情遮罩引導模型關注微妙的面部表情細節。
4. 多風格適應性：該框架設計為能夠適應不同風格的肖像，確保自然的動畫效果。
5. 漸進式生成策略：采用從粗糙到精細的生成策略，確保動畫的連貫性和穩定性。
6. 時間注意力機制：在UNet網絡中加入時間注意力層，以保持動畫幀之間的一致性。
7. 預訓練與微調：使用大量的訓練數據集對模型進行預訓練，并針對特定任務進行微調。
8. 數據集和基準建設：團隊構建了EmojiBench基準，用于評估模型性能。
9. 推理與動畫生成：模型結合表情感知標志點和時間注意力機制，生成動態肖像動畫，同時保持身份特征。
10. 用戶控制與定制：用戶可通過輸入不同的表情序列，控制動畫輸出，增強定制化效果。