MatAnyone

MatAnyone – 南洋理工和商湯科技推出的人像視頻摳圖框架

MatAnyone是什么

MatAnyone是由南洋理工大學S-Lab實驗室與商湯科技聯合開發的前沿框架，旨在解決復雜背景下的人像視頻摳圖問題。該系統專注于目標指定的視頻摳圖任務，利用一致的內存傳播模塊和區域自適應內存融合技術，確保視頻序列中核心區域的語義穩定性和邊界細節的精確性。MatAnyone采用創新的訓練策略，通過大規模的分割數據直接監督摳圖頭，顯著增強模型在實際場景中的穩定性和泛化能力。此外，MatAnyone還配備了高質量、多樣化的訓練數據集VM800和更具挑戰性的測試數據集YoutubeMatte，為模型的訓練與評估提供了堅實的基礎。

MatAnyone

MatAnyone的主要功能

穩定的目標跟蹤：在整個視頻中持續跟蹤目標對象，即使在復雜或模糊的背景中也能保持目標的完整性。
精細的邊界細節提取：支持生成高質量的alpha遮罩，特別是在邊界區域（例如頭發、邊緣等）表現尤為出色，確保圖像級的細節精度。
適應多種視頻類型：MatAnyone能夠處理各種類型的視頻，包括電影、游戲和智能手機視頻，適應不同的幀尺寸和媒體格式。
增強交互性：用戶可在視頻的第一幀指定目標分割掩碼，從而引導整個摳圖過程，實現更精準的交互式視頻編輯。

MatAnyone的技術原理

一致內存傳播：
- 內存融合：CMP模塊通過估算當前幀與前一幀之間的alpha值變化，自適應融合來自前一幀的信息。在“大變化”區域（通常是邊界），更多依賴于當前幀的信息；而在“小變化”區域（通常是核心區域），則保留前一幀的內存。
- 區域自適應：借助輕量級的邊界區域預測模塊，估計每個查詢令牌的變化概率，實現區域自適應的內存融合，顯著提升核心區域的語義穩定性和邊界區域的細節精度。
核心區域監督：
- 分割數據的直接監督：為解決真實視頻摳圖數據稀缺的難題，MatAnyone使用大規模真實分割數據直接監督摳圖頭。通過在核心區域應用像素級損失（Lcore）和在邊界區域使用改進的DDC損失（Lboundary），確保語義穩定性和細節精度。
- 改進的DDC損失：通過調整DDC損失的計算方式，使其更適合視頻摳圖任務，有效避免傳統DDC損失在邊界區域產生的鋸齒狀和階梯狀邊緣。
新數據集與訓練策略：
- 高質量訓練數據集：引入新的訓練數據集VM800，其規模是現有數據集VideoMatte240K的兩倍，且在核心和邊界區域的質量更高，顯著提升模型的訓練效果。
- 多階段訓練：通過多階段訓練策略，初步在視頻摳圖數據上初始化模型，然后基于分割數據進行核心區域監督，最終利用圖像摳圖數據進一步優化邊界細節。
網絡架構：
- 編碼器：采用ResNet-50作為編碼器，提取特征并生成查詢和鍵。
- 對象變換器：通過對象變換器模塊，將像素級內存按對象語義進行分組，減少低層次像素匹配帶來的噪聲。
- 解碼器：解碼器基于多級上采樣和跳躍連接，生成高精度的alpha遮罩。
- 值編碼器：將預測的alpha遮罩和圖像特征編碼為值，用于更新內存庫。