LeviTor是一項前沿的圖像到視頻合成技術(shù)，由學(xué)、螞蟻集團(tuán)和浙江大學(xué)等機(jī)構(gòu)共同開發(fā)。該技術(shù)通過結(jié)合深度信息和K-means聚類點，智能控制視頻中三維物體的軌跡，無需進(jìn)行顯式的三維軌跡跟蹤。LeviTor經(jīng)過高質(zhì)量視頻對象分割數(shù)據(jù)集的訓(xùn)練，能夠有效捕捉復(fù)雜場景下的物體和相互作用，簡化用戶的三維軌跡輸入流程，使視頻生成技術(shù)更加先進(jìn)且易于使用。

LeviTor是什么

LeviTor是一項創(chuàng)新的圖像到視頻合成技術(shù)，旨在簡化視頻制作過程。通過結(jié)合深度信息和K-means聚類，LeviTor能夠在生成視頻時精確控制三維物體的軌跡，而不需要顯式的三維跟蹤。這項技術(shù)利用高質(zhì)量視頻對象分割數(shù)據(jù)集進(jìn)行訓(xùn)練，能夠有效捕捉物體在復(fù)雜場景中的與交互。LeviTor的設(shè)計使用戶能夠輕松輸入三維軌跡，降低了技術(shù)使用門檻，拓寬了創(chuàng)意應(yīng)用的范圍，適合更廣泛的用戶群體。

LeviTor的主要功能

• 精準(zhǔn)控制物體：在將靜態(tài)圖像轉(zhuǎn)化為視頻時，能夠精準(zhǔn)操控物體的軌跡。
• 擴(kuò)展創(chuàng)意應(yīng)用：通過三維軌跡控制，豐富視頻合成的創(chuàng)意應(yīng)用場景。
• 簡化用戶輸入：用戶只需在二維圖像上簡單繪制和調(diào)整深度，便可輕松輸入三維軌跡。
• 自動提取深度信息和物體掩碼：系統(tǒng)自動從圖像中提取深度信息和物體掩碼，減少了用戶的操作步驟。
• 交互式軌跡繪制：用戶可以通過交互方式繪制物體軌跡，系統(tǒng)將其轉(zhuǎn)換為三維路徑。

LeviTor的技術(shù)原理

• K-means聚類：通過對視頻對象掩碼的像素進(jìn)行K-means聚類，生成一組具有代表性的控制點。
• 深度信息融合：深度估計網(wǎng)絡(luò)DepthAnythingV2預(yù)測相對深度圖，并在每個控制點采樣深度，為控制點增加深度信息。
• 控制信號構(gòu)建：將二維坐標(biāo)與估計的深度值結(jié)合，構(gòu)建控制軌跡，這些軌跡作為視頻擴(kuò)散模型的控制信號。
• 視頻擴(kuò)散模型：將控制信號輸入視頻擴(kuò)散模型，生成與三維軌跡對齊的視頻內(nèi)容。
• 用戶友好的推理流程：設(shè)計直觀的交互系統(tǒng)，用戶通過點擊和調(diào)整深度值輸入三維軌跡。

LeviTor的項目地址

• 項目官網(wǎng)：ppetrichor.github.io/levitor
• GitHub倉庫：https://github.com/qiuyu96/LeviTor
• HuggingFace模型庫：https://huggingface.co/hlwang06/LeviTor
• arXiv技術(shù)論文：https://arxiv.org/pdf/2412.15214

LeviTor的應(yīng)用場景

• 電影特效制作：生成逼真的特效場景，降低現(xiàn)場拍攝的成本，提高制作效率。
• 游戲動畫生成：在游戲開發(fā)中創(chuàng)造動態(tài)的背景和角色動畫，增強(qiáng)游戲的沉浸感。
• 虛擬現(xiàn)實體驗：在虛擬現(xiàn)實應(yīng)用中合成真實感強(qiáng)烈的虛擬環(huán)境，提供更真實的沉浸式體驗。
• 增強(qiáng)現(xiàn)實展示：在增強(qiáng)現(xiàn)實領(lǐng)域?qū)崿F(xiàn)虛擬信息與現(xiàn)實世界的無縫融合，適用于教育、導(dǎo)航等場景。
• 廣告視頻制作：制作動感十足的廣告視頻，吸引觀眾注意力，提升品牌形象及產(chǎn)品吸引力。

常見問題

如需了解LeviTor的更多信息，歡迎訪問我們的官網(wǎng)或GitHub倉庫，獲取最新的技術(shù)支持和更新。我們期待您的反饋與建議！