SkyReels-A1

SkyReels-A1 – 昆侖萬維開源的表情動作可控算法

SkyReels-A1是昆侖萬維推出的中國首個SOTA（State-of-the-Art）級別的基于視頻基座模型的表情動作可控算法，它能夠生成高度逼真的動態視頻，并實現對人物表情和動作的精確控制。該算法支持多種人體比例的生成，如肖像、半身和全身，確保在生成過程中保持身份一致性。

SkyReels-A1是什么

SkyReels-A1是昆侖萬維開發的中國首個基于視頻基座模型的SOT別表情動作可控算法。它能夠生成更為精準和可控的人物視頻，適用于各種人體比例（包括肖像、半身和全身），并實現高度真實的動態效果。SkyReels-A1通過精準模擬人物的表情變化、情緒、皮膚質感及身體動作等細節，達到高保真的微表情還原。該系統支持側臉表情控制、眉眼微表情生成，并能夠進行更為廣泛的頭部和身體動作，其效果超過了同類產品。

SkyReels-A1

SkyReels-A1的主要功能

高保真肖像動畫生成：能夠從靜態肖像生成動態視頻，支持多種身體比例（如頭部、半身、全身）。精確地將驅動視頻中的表情和動作遷移到目標肖像上，同時保持身份一致性。
表情和動作的精準控制：支持復雜表情（如細微的眉眼動作和嘴唇）以及全身動作的自然遷移。提供高保真的表情捕捉和動作驅動能力，適合用于虛擬形象、遠程通信和數字媒體生成。
身份保持與自然融合：在動畫生成過程中，確保生成的人物與原始肖像保持高度一致，避免身份失真。

SkyReels-A1的技術原理

視頻擴散模型：基于逐步逆轉噪聲過程，將隨機噪聲轉化為結構化的視頻內容。擴散模型通過估計每個時間步的噪聲，逐步生成高質量的視頻幀，結合基于Transformer的自注意力機制，以捕捉視頻中的時空信息，生成連貫且自然的動態內容。
表情感知地標：提取驅動視頻中的表情地標（如面部關鍵點），作為動畫生成的描述符。利用3D神經渲染模塊，精確捕捉細微的表情變化（如眉毛和嘴唇的動作），融入生成過程中。
時空對齊地標引導模塊：采用3D因果編碼器將地標信息映射到視頻的潛在空間，確保驅動信號與生成視頻的時空一致性，增強信號的捕捉能力，確保生成視頻的連貫性。
面部圖像-文本對齊模塊：將面部特征映射到文本特征空間，提升身份一致性。通過融合視覺和文本特征，提高生成結果的準確性和身份保留能力。
分階段訓練策略：
- 動作驅動訓練：專注于將動作條件融入視頻生成過程，優化表示。
- 身份保持訓練：優化面部特征的投影層，增強身份一致性。
- 多模塊聯合微調：聯合優化所有模塊，提升模型的泛化能力和生成質量。