MatAnyone – 南洋理工和商湯科技推出的人像視頻摳圖框架

MatAnyone是什么

MatAnyone是由南洋理工大學(xué)S-Lab實(shí)驗(yàn)室與商湯科技聯(lián)合開發(fā)的前沿框架，旨在解決復(fù)雜背景下的人像視頻摳圖問題。該系統(tǒng)專注于目標(biāo)指定的視頻摳圖任務(wù)，利用一致的內(nèi)存?zhèn)鞑ツK和區(qū)域自適應(yīng)內(nèi)存融合技術(shù)，確保視頻序列中核心區(qū)域的語義穩(wěn)定性和邊界細(xì)節(jié)的精確性。MatAnyone采用創(chuàng)新的訓(xùn)練策略，通過大規(guī)模的分割數(shù)據(jù)直接監(jiān)督摳圖頭，顯著增強(qiáng)模型在實(shí)際場(chǎng)景中的穩(wěn)定性和泛化能力。此外，MatAnyone還配備了高質(zhì)量、多樣化的訓(xùn)練數(shù)據(jù)集VM800和更具挑戰(zhàn)性的測(cè)試數(shù)據(jù)集YoutubeMatte，為模型的訓(xùn)練與評(píng)估提供了堅(jiān)實(shí)的基礎(chǔ)。

MatAnyone的主要功能

• 穩(wěn)定的目標(biāo)跟蹤：在整個(gè)視頻中持續(xù)跟蹤目標(biāo)對(duì)象，即使在復(fù)雜或模糊的背景中也能保持目標(biāo)的完整性。
• 精細(xì)的邊界細(xì)節(jié)提取：支持生成高質(zhì)量的alpha遮罩，特別是在邊界區(qū)域（例如頭發(fā)、邊緣等）表現(xiàn)尤為出色，確保圖像級(jí)的細(xì)節(jié)精度。
• 適應(yīng)多種視頻類型：MatAnyone能夠處理各種類型的視頻，包括電影、游戲和智能手機(jī)視頻，適應(yīng)不同的幀尺寸和媒體格式。
• 增強(qiáng)交互性：用戶可在視頻的第一幀指定目標(biāo)分割掩碼，從而引導(dǎo)整個(gè)摳圖過程，實(shí)現(xiàn)更精準(zhǔn)的交互式視頻編輯。

MatAnyone的技術(shù)原理

• 一致內(nèi)存?zhèn)鞑?/strong>：
  • 內(nèi)存融合：CMP模塊通過估算當(dāng)前幀與前一幀之間的alpha值變化，自適應(yīng)融合來自前一幀的信息。在“大變化”區(qū)域（通常是邊界），更多依賴于當(dāng)前幀的信息；而在“小變化”區(qū)域（通常是核心區(qū)域），則保留前一幀的內(nèi)存。
  • 區(qū)域自適應(yīng)：借助輕量級(jí)的邊界區(qū)域預(yù)測(cè)模塊，估計(jì)每個(gè)查詢令牌的變化概率，實(shí)現(xiàn)區(qū)域自適應(yīng)的內(nèi)存融合，顯著提升核心區(qū)域的語義穩(wěn)定性和邊界區(qū)域的細(xì)節(jié)精度。
• 核心區(qū)域監(jiān)督：
  • 分割數(shù)據(jù)的直接監(jiān)督：為解決真實(shí)視頻摳圖數(shù)據(jù)稀缺的難題，MatAnyone使用大規(guī)模真實(shí)分割數(shù)據(jù)直接監(jiān)督摳圖頭。通過在核心區(qū)域應(yīng)用像素級(jí)損失（Lcore）和在邊界區(qū)域使用改進(jìn)的DDC損失（Lboundary），確保語義穩(wěn)定性和細(xì)節(jié)精度。
  • 改進(jìn)的DDC損失：通過調(diào)整DDC損失的計(jì)算方式，使其更適合視頻摳圖任務(wù)，有效避免傳統(tǒng)DDC損失在邊界區(qū)域產(chǎn)生的鋸齒狀和階梯狀邊緣。
• 新數(shù)據(jù)集與訓(xùn)練策略：
  • 高質(zhì)量訓(xùn)練數(shù)據(jù)集：引入新的訓(xùn)練數(shù)據(jù)集VM800，其規(guī)模是現(xiàn)有數(shù)據(jù)集VideoMatte240K的兩倍，且在核心和邊界區(qū)域的質(zhì)量更高，顯著提升模型的訓(xùn)練效果。
  • 多階段訓(xùn)練：通過多階段訓(xùn)練策略，初步在視頻摳圖數(shù)據(jù)上初始化模型，然后基于分割數(shù)據(jù)進(jìn)行核心區(qū)域監(jiān)督，最終利用圖像摳圖數(shù)據(jù)進(jìn)一步優(yōu)化邊界細(xì)節(jié)。
• 網(wǎng)絡(luò)架構(gòu)：
  • 編碼器：采用ResNet-50作為編碼器，提取特征并生成查詢和鍵。
  • 對(duì)象變換器：通過對(duì)象變換器模塊，將像素級(jí)內(nèi)存按對(duì)象語義進(jìn)行分組，減少低層次像素匹配帶來的噪聲。
  • 解碼器：解碼器基于多級(jí)上采樣和跳躍連接，生成高精度的alpha遮罩。
  • 值編碼器：將預(yù)測(cè)的alpha遮罩和圖像特征編碼為值，用于更新內(nèi)存庫。

MatAnyone的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://pq-yang.github.io/projects/MatAnyone/
• GitHub倉庫：https://github.com/pq-yang/MatAnyone
• arXiv技術(shù)論文：https://arxiv.org/pdf/2501.14677

MatAnyone的應(yīng)用場(chǎng)景

• 影視后期制作：用于背景替換和特效合成，將演員精準(zhǔn)摳出背景，替換為虛擬或特效背景，提升畫面的視覺效果與創(chuàng)意空間。
• 視頻會(huì)議與直播：在視頻會(huì)議和直播中，實(shí)時(shí)將人物從復(fù)雜背景中分離，替換為虛擬或模糊背景，增強(qiáng)隱私保護(hù)與視覺效果。
• 廣告與營(yíng)銷：在廣告視頻制作中，將產(chǎn)品或人物從拍攝背景中摳出，替換為更具吸引力的背景，提升廣告的視覺沖擊力與吸引力。
• 游戲開發(fā)：用于游戲中的視頻內(nèi)容制作，如角色動(dòng)畫及過場(chǎng)動(dòng)畫，將角色從拍攝背景中精準(zhǔn)摳出，替換為游戲場(chǎng)景，增強(qiáng)游戲的沉浸感。
• 虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)：在VR與AR應(yīng)用中，將用戶或物體從現(xiàn)實(shí)場(chǎng)景中摳出，融合至虛擬環(huán)境中，提升用戶體驗(yàn)與交互效果。

常見問題

• MatAnyone的使用難度如何？：MatAnyone提供用戶友好的界面，用戶只需在第一幀指定目標(biāo)分割掩碼即可，操作簡(jiǎn)單易上手。
• MatAnyone支持哪些視頻格式？：該工具支持多種視頻格式，包括常見的MP4、AVI等，適應(yīng)不同類型的媒體內(nèi)容。
• 如何獲取MatAnyone的訓(xùn)練數(shù)據(jù)集？：用戶可以通過官方網(wǎng)站或GitHub倉庫獲取相關(guān)的訓(xùn)練數(shù)據(jù)集和使用說明。