ACTalker

ACTalker – 港科大聯合騰訊、清華推出的端到端視頻擴散框架

ACTalker

ACTalker是什么

ACTalker 是一款創新的視頻生成框架，旨在生成逼真的說話人頭部視頻。該系統能夠靈活地處理多種驅動信號，包括音頻和面部表情，支持單信號與多信號的控制。在其核心架構中，ACTalker 采用了并行的 Mamba 結構，通過多個分支控制不同的面部區域，結合門控機制和掩碼丟棄策略，實現自然且靈活的視頻生成。在 CelebV-HQ 數據集上，ACTalker 的 Sync-C 和 Sync-D 分數分別達到 5.317 和 7.869，而 FVD-Inc 分數為 232.374，充分展現了其卓越的音頻同步能力和視頻質量。

ACTalker的主要功能

靈活的信號控制：ACTalker 支持單一和多種信號的控制，可以利用音頻、面部表情等多種信號生成自然流暢的說話人視頻。
協調一致的視頻生成：通過 Mamba 結構，驅動信號能夠在時間和空間兩個維度內精確操控特征標記，確保生成的視頻在這些維度上自然協調。
高品質視頻輸出：實驗結果表明，ACTalker 能夠生成自然且逼真的面部視頻，在多信號控制下，Mamba 層能夠無縫地整合各種驅動模態，確保視頻生成過程中沒有沖突。

ACTalker的技術原理

并行 Mamba 結構：ACTalker 采用并行 Mamba 結構，包含多個分支，每個分支利用的驅動信號（如音頻和表情）來控制特定的面部區域。這種設計使得不同模態信號可以同時作用于視頻生成，不相互干擾，從而實現多信號控制。
門控機制：在各個分支中實施了門控機制，訓練階段會隨機開啟或關閉，而在推理階段則可以根據需求進行手動調整。這一機制為視頻生成提供了靈活的控制選項，支持在不同情境下選擇使用單一或多種信號。
掩碼丟棄策略（Mask-Drop）：ACTalker 引入了掩碼丟棄策略，使每個驅動信號能夠控制相應的面部區域。在訓練過程中，策略通過隨機丟棄與控制區域無關的特征標記，增強驅動信號的有效性，同時提升生成內容的質量，避免控制沖突。
狀態空間建模（SSM）：為確保視頻在時間和空間上的自然協調，ACTalker 采用狀態空間建模（SSM）技術，支持驅動信號在每個分支中跨時間和空間的特征標記操控，實現自然的面部動作協調。
視頻擴散模型基礎：ACTalker 基于視頻擴散模型構建，在去噪過程中引入多分支控制模塊，每個 Mamba 分支負責處理特定模態信號，通過門控機制動態調整各模態的影響權重。

ACTalker的項目地址

項目官網：https://harlanhong.github.io/publications/actalker
Github倉庫：https://github.com/harlanhong/ACTalker
HuggingFace模型庫：https://huggingface.co/papers/2504.02542
arXiv技術論文：https://arxiv.org/pdf/2504.02542

ACTalker的應用場景

虛擬主播：通過多種信號控制生成自然流暢的說話頭視頻，ACTalker 能夠讓虛擬主播更具生動性，提升與觀眾的互動性，增強觀看體驗。
遠程會議：在遠程會議中，ACTalker 可利用音頻和參會者面部表情生成自然的說話頭視頻，解決因網絡延遲導致的口型與聲音不同步的問題，提升遠程交流的真實感。
在線教育：在在線教育場景中，教師可借助 ACTalker 生成生動的說話頭視頻，使教學內容更加有趣，吸引學生注意力，提升教學效果。
虛擬現實與增強現實：在 VR 和 AR 應用中，ACTalker 能夠生成與虛擬環境或增強現實場景完美匹配的說話頭視頻。
娛樂與游戲：在娛樂和游戲領域，ACTalker 可以為角色生成自然的說話頭視頻，增強角色的表現力和代入感。