顛覆創作界！DeepMind新模型實現物體與背景無縫分離，視頻一鍵拆分PS層輕松搞定！

原標題：視頻一鍵拆分PS層！DeepMind新模型效果碾壓同級，物體、背景完美分離，還能腦補
文章來源：新智元
內容字數：5060字

引言

DeepMind的研究團隊與其他機構合作，提出了一種創新的視頻分層方法，旨在提升視頻編輯的靈活性和效率。該方法無需假設背景靜止或依賴精確的相機姿態，能夠將復雜的視頻內容分解為多個層次，從而有效地處理動態場景中的物體及其效果。

技術背景

傳統的視頻處理方法在處理動態背景和復雜場景時存在局限，通常需要靜態背景或精確的相機和深度信息。新提出的框架通過訓練視頻擴散模型，克服了這些限制，能夠自動生成清晰的圖像層，并補全被遮擋的動態區域。

核心方法

研究人員的框架利用生成式先驗知識，分析物體與視頻效果的聯系。通過微調預訓練模型，使用小型的分層視頻數據集，能夠處理具有軟陰影、光澤反射等效果的日常視頻。

模型架構

基礎模型Lumiere生成80幀視頻，并通過超分辨率技術提升分辨率。Casper模型在此基礎上進行微調，引入三元掩碼以區分需要移除和保留的區域，并處理陰影和效果的移除。

數據構建與訓練

訓練數據集由真實和合成視頻組成，涵蓋多種場景和對象。研究者通過多種來源生成數據，確保模型對復雜場景的適應能力。

實驗與結果

在實驗中，研究人員對新方法進行了定性和定量分析，結果顯示該方法在背景層重建和物體移除方面優于現有技術。通過評估，文中提出的方法在多個指標上表現出色，證明了其有效性。

結論

該研究展示了新的視頻分層方法在處理動態背景和復雜效果方面的潛力，能夠顯著提升視頻編輯的效率和質量。未來，這一技術有望在更廣泛的應用場景中發揮作用，推動視頻處理領域的進一步發展。

聯系作者

文章來源：新智元
作者微信：
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。