Follow-Your-Emoji

Follow-Your-Emoji是一種由香港科技大學(xué)、騰訊混元與清華大學(xué)的研究者聯(lián)合開發(fā)的先進人像動畫框架。該框架基于擴散模型，能夠為靜態(tài)肖像添加動態(tài)表情序列，實現(xiàn)生動的面部動畫效果。通過精確對齊表情與肖像，該技術(shù)不僅保持了身份特征的完整性，還有效避免了身份信息的泄露。Follow-Your-Emoji支持多種風(fēng)格的人像動畫，包括現(xiàn)實主義、卡通、雕塑及動物圖像，展現(xiàn)出極高的表現(xiàn)力和靈活性。

Follow-Your-Emoji是什么

Follow-Your-Emoji是一個基于擴散模型的人物動畫框架，通過該技術(shù)，可以將目標表情序列動態(tài)地應(yīng)用于參考肖像。這一創(chuàng)新解決方案由香港科技大學(xué)、騰訊混元及清華大學(xué)的研究團隊共同研發(fā)。它通過表情感知標志點來精確對齊表情與肖像，確保在保證身份特征的同時，有效避免身份信息的泄露。此外，采用面部精細損失函數(shù)，進一步提升了模型對微妙表情變化的捕捉能力。該框架能夠?qū)崿F(xiàn)多種風(fēng)格的人像動畫，包含真人、卡通、雕塑甚至動物，展現(xiàn)出極高的控制性和表現(xiàn)力。

主要功能

• 動態(tài)表情同步：利用擴散模型，F(xiàn)ollow-Your-Emoji可以將預(yù)設(shè)或?qū)崟r捕捉的表情序列準確地同步到靜態(tài)肖像上，實現(xiàn)如眨眼、微笑、皺眉等復(fù)雜表情的動態(tài)變化。
• 身份特征保持：該框架設(shè)計了特別的機制，確保在動畫過程中參考肖像的關(guān)鍵身份特征不被改變，避免在表情劇烈變化時產(chǎn)生身份信息的失真。
• 夸張表情表現(xiàn)：通過表情感知標志點的技術(shù)，能夠捕捉并展現(xiàn)夸張的表情動作，尤其適合卡通和漫畫風(fēng)格，增強動畫的表現(xiàn)力。
• 多風(fēng)格適應(yīng)：Follow-Your-Emoji不僅限于現(xiàn)實風(fēng)格的肖像，還能夠適應(yīng)并動畫化不同藝術(shù)風(fēng)格的肖像，如卡通、雕塑及動物等，顯示出其廣泛的適用性。
• 時間連貫性：通過面部精細損失函數(shù)，框架在生成每一幀動畫時考慮前后幀的連貫性，確保動畫序列在時間上自然流暢。
• 長期動畫生成：采用漸進式生成策略，F(xiàn)ollow-Your-Emoji能夠生成在短期和長期播放中均能保持高質(zhì)量和穩(wěn)定的動畫效果。
• 高度控制性：用戶可以詳細控制表情序列，從而精確調(diào)整動畫輸出，滿足個性化創(chuàng)作的需求。

產(chǎn)品官網(wǎng)

• 官方項目主頁：https://follow-your-emoji.github.io/
• arXiv技術(shù)論文：https://arxiv.org/abs/2406.01900

應(yīng)用場景

Follow-Your-Emoji可以廣泛應(yīng)用于社交媒體、動畫制作、游戲設(shè)計、虛擬現(xiàn)實等領(lǐng)域。用戶可以通過該技術(shù)為自己的肖像或角色添加生動的面部表情，提升互動性和趣味性。

常見問題

• Follow-Your-Emoji支持哪些風(fēng)格的人像動畫？該框架支持多種風(fēng)格，包括現(xiàn)實主義、卡通、雕塑及動物等。
• 如何確保身份信息的安全？框架采用了特殊機制，確保在表情變化時身份特征得以保留，防止信息泄露。
• 用戶能否自定義動畫表情？是的，用戶可以通過提供不同的輸入表情序列，精確控制動畫的輸出，實現(xiàn)個性化創(chuàng)作。

Follow-Your-Emoji的技術(shù)原理

1. 基于擴散模型的框架：該技術(shù)使用先進的擴散模型（Stable Diffusion）作為基礎(chǔ)，能夠生成高質(zhì)量的圖像和視頻內(nèi)容。
2. 表情感知標志點：利用MediaPipe等工具從動態(tài)視頻中提取3D關(guān)鍵點，并將其投影到2D平面，從而指導(dǎo)動畫過程。
3. 面部精細損失：引入新的損失函數(shù)，通過面部遮罩和表情遮罩引導(dǎo)模型關(guān)注微妙的面部表情細節(jié)。
4. 多風(fēng)格適應(yīng)性：該框架設(shè)計為能夠適應(yīng)不同風(fēng)格的肖像，確保自然的動畫效果。
5. 漸進式生成策略：采用從粗糙到精細的生成策略，確保動畫的連貫性和穩(wěn)定性。
6. 時間注意力機制：在UNet網(wǎng)絡(luò)中加入時間注意力層，以保持動畫幀之間的一致性。
7. 預(yù)訓(xùn)練與微調(diào)：使用大量的訓(xùn)練數(shù)據(jù)集對模型進行預(yù)訓(xùn)練，并針對特定任務(wù)進行微調(diào)。
8. 數(shù)據(jù)集和基準建設(shè)：團隊構(gòu)建了EmojiBench基準，用于評估模型性能。
9. 推理與動畫生成：模型結(jié)合表情感知標志點和時間注意力機制，生成動態(tài)肖像動畫，同時保持身份特征。
10. 用戶控制與定制：用戶可通過輸入不同的表情序列，控制動畫輸出，增強定制化效果。