LCVD – 川大推出的可調節光照效果的肖像動畫生成框架

LCVD是什么

LCVD（Lighting Controllable Video Diffusion Model）是由四川大學開發的一種高保真、可控光照的肖像動畫生成框架。該模型通過將肖像的內在特征（如身份和外觀）與外在特征（如姿態和光照）進行分離，利用參考適配器和陰影適配器將這些特征映射到不同的子空間。在生成動畫的過程中，LCVD利用特征子空間，并結合多條件分類器引導機制，精細調節光照效果，同時保留肖像的身份和外觀特征。基于穩定的視頻擴散模型（SVD），LCVD能夠生成與驅動視頻姿態一致且符合目標光照條件的高質量肖像動畫。它在光照真實感、圖像質量和視頻一致性方面顯著超過現有技術，為虛擬現實、視頻會議和影視制作等領域提供了強大的技術支持。

LCVD的主要功能

• 肖像動畫化：將靜態肖像轉換為動態視頻，精確匹配驅動視頻中的頭部動作和面部表情。
• 光照控制：在動畫生成過程中，根據用戶指定或參考圖像的光照條件重新調整肖像的光照效果。
• 身份與外觀保留：在動畫化和重光照過程中，確保肖像的身份和外觀特征不被丟失。
• 高質量視頻生成：生成的視頻在光照真實感、圖像質量和視頻一致性方面表現卓越，適用于虛擬現實、視頻會議和影視制作等多種場景。

LCVD的技術原理

• 特征分離：參考適配器將參考肖像的內在特征（身份和外觀）映射至特征空間，而陰影適配器則將外在特征（光照和姿態）映射至特征空間。通過分離內在和外在特征，模型能夠在動畫化過程中控制光照和姿態。
• 光照可控的擴散模型：基于穩定視頻擴散模型，利用多條件分類器引導機制調整光照效果，通過修改引導強度（如權重 ω）來增強或減弱光照提示的影響，實現更加精細的光照控制。
• 對齊與長視頻生成：通過對齊模塊，確保生成的肖像與驅動視頻的姿態保持一致。采用擴散模型采樣方法，可以生成任意長度的視頻，并通過重疊策略確保視頻片段之間的平滑過渡。
• 訓練與優化：在訓練階段，通過自監督學習優化適配器和擴散模型，確保生成視頻在光照、姿態和身份上的一致性。使用損失函數（如LPIPS、FID等）來評估和提升生成視頻的質量。

LCVD的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2502.19894

LCVD的應用場景

• 虛擬現實（VR）和增強現實（AR）：創建生動的虛擬角色，使其與虛擬或現實場景無縫結合。
• 視頻會議：實時生成高質量的肖像動畫，降低帶寬需求，提升用戶體驗。
• 影視制作：快速生成符合多種光照條件的肖像動畫，用于特效和虛擬場景的創建。
• 游戲開發：生成逼真的虛擬角色動畫，增強游戲的真實感和沉浸體驗。
• 社交媒體和內容創作：支持用戶生成個性化的動態頭像或短視頻，豐富內容創作的形式。

常見問題

• LCVD能否用于實時應用？ 是的，LCVD具備實時生成肖像動畫的能力，適用于視頻會議等場景。
• 如何調整光照效果？ 用戶可以通過指定光照條件或參考圖像來調節生成肖像的光照效果。
• LCVD支持多長的視頻生成？ LCVD可以生成任意長度的視頻，并確保視頻片段之間的平滑過渡。
• 是否會影響肖像的身份特征？ LCVD在動畫化過程中確保肖像的身份和外觀特征得以保留。