I2VEdit

I2VEdit是一個(gè)創(chuàng)新的視頻編輯框架，采用圖像到視頻的擴(kuò)散模型，支持通過(guò)首幀編輯實(shí)現(xiàn)視頻的智能編輯。用戶(hù)只需對(duì)視頻的第一幀進(jìn)行操作，I2VEdit便能將這些編輯效果自動(dòng)擴(kuò)展到整個(gè)視頻，極大地簡(jiǎn)化了視頻編輯的復(fù)雜性。該產(chǎn)品由南洋理工大學(xué)、商湯科技研究院和上海人工智能實(shí)驗(yàn)室聯(lián)合開(kāi)發(fā)，確保視頻在編輯后保持時(shí)間與的一致性，并能生成高質(zhì)量的編輯結(jié)果。

I2VEdit是什么

I2VEdit是一個(gè)創(chuàng)新的視頻編輯工具，采用先進(jìn)的圖像到視頻擴(kuò)散模型，允許用戶(hù)通過(guò)編輯視頻的第一幀來(lái)實(shí)現(xiàn)整個(gè)視頻的自動(dòng)編輯。這一技術(shù)確保了視頻在和時(shí)間上的一致性，并提供高質(zhì)量的編輯效果。由南洋理工大學(xué)、商湯科技研究院和上海人工智能實(shí)驗(yàn)室共同開(kāi)發(fā)，I2VEdit旨在簡(jiǎn)化視頻編輯的流程，適用于各種局部和全局編輯任務(wù)，如更換服裝、添加配飾或進(jìn)行風(fēng)格轉(zhuǎn)換。

I2VEdit

I2VEdit的主要功能

首幀引導(dǎo)編輯：用戶(hù)只需對(duì)視頻的第一幀進(jìn)行編輯，I2VEdit會(huì)自動(dòng)將該編輯效果應(yīng)用于整個(gè)視頻。
一致性：確保編輯后的視頻與原視頻在上保持連貫。
靈活的編輯選項(xiàng)：支持局部編輯（如更換物體）和全局編輯（如風(fēng)格轉(zhuǎn)換）。
高質(zhì)量輸出：生成與首幀編輯一致且時(shí)間上連貫的高質(zhì)量視頻。

I2VEdit的技術(shù)原理

粗提取：基于訓(xùn)練的LoRA模型，識(shí)別視頻中的粗略模式。
外觀細(xì)化：利用細(xì)粒度的注意力匹配算法進(jìn)行精準(zhǔn)的外觀調(diào)整。
平滑區(qū)域隨機(jī)擾動(dòng)（SARP）：對(duì)視頻中的平滑區(qū)域進(jìn)行隨機(jī)擾動(dòng)，以提高從圖像到視頻的轉(zhuǎn)換質(zhì)量。
間隔跳過(guò)策略：在處理較長(zhǎng)視頻時(shí)，采用間隔跳過(guò)策略，以降低自回歸生成過(guò)程中的質(zhì)量損失。
擴(kuò)散模型：基于預(yù)訓(xùn)練的圖像到視頻擴(kuò)散模型，將編輯從首幀擴(kuò)展至整個(gè)視頻。

I2VEdit的項(xiàng)目地址

項(xiàng)目官網(wǎng)：i2vedit.github.io
arXiv技術(shù)論文：https://arxiv.org/pdf/2405.16537

I2VEdit的應(yīng)用場(chǎng)景

社交媒體內(nèi)容創(chuàng)作：內(nèi)容創(chuàng)作者可以快速更改視頻中的元素，如服裝和背景，以符合特定的主題或品牌。
視頻后期制作：電影和視頻制作人員利用I2VEdit快速進(jìn)行風(fēng)格轉(zhuǎn)換或場(chǎng)景修改，從而提升后期制作的效率。
虛擬試穿：在時(shí)尚與零售領(lǐng)域，顧客可以觀看模特穿著不同服飾的視頻，商家也能快速生成多種試穿效果。
主題替換：在教育和培訓(xùn)視頻中，輕松替換講解者或背景，以適應(yīng)不同的教學(xué)場(chǎng)景。
風(fēng)格轉(zhuǎn)換：藝術(shù)家和設(shè)計(jì)師能夠探索多種視覺(jué)風(fēng)格，例如將現(xiàn)實(shí)視頻轉(zhuǎn)換為卡通風(fēng)格，而無(wú)需手動(dòng)重新繪制每一幀。
特效制作：在視頻制作中，I2VEdit能夠快速應(yīng)用特效，如改變視頻中物體的顏色或添加特殊效果。