RelightVid – 上海 AI Lab聯(lián)合復旦等高校推出的視頻重照明模型

RelightVid是什么

RelightVid是由上海AI實驗室、復旦大學、上海交通大學、浙江大學、斯坦福大學和香港中文大合開發(fā)的一款視頻重照明工具。它采用時序一致性擴散模型，能夠依據(jù)文本提示、背景視頻或HDR環(huán)境貼圖對視頻進行細致且一致的場景編輯。此技術(shù)支持全場景重照明以及前景保留重照明，旨在為視頻編輯和創(chuàng)作帶來新的可能性。

RelightVid的主要功能

• 文本驅(qū)動重照明：根據(jù)用戶提供的文本描述，調(diào)整視頻中的光照效果，例如“陽光透過樹葉，形成斑駁光影”或“柔和的晨光，金色時刻”。
• 背景視頻驅(qū)動重照明：利用背景視頻作為光源條件，動態(tài)調(diào)整前景對象的光照，使其與背景光照保持一致。
• HDR環(huán)境貼圖驅(qū)動重照明：通過HDR環(huán)境貼圖精確控制光照，實現(xiàn)高質(zhì)量的重照明效果。
• 全場景重照明：對整個場景中的前景和背景進行重照明，使其與設(shè)定的光照條件相匹配。
• 前景保留重照明：在重照明前景的同時，保持背景不變，適用于需要突出前景對象的場合。

RelightVid的技術(shù)原理

• 擴散模型擴展：RelightVid以預訓練的圖像重照明擴散模型（如IC-Light）為基礎(chǔ)，擴展其架構(gòu)以支持視頻輸入，并引入時序?qū)右圆蹲綆g的時間依賴性，從而確保重照明的時序一致性。
• 多模態(tài)條件聯(lián)合訓練：該模型能夠同時使用背景視頻、文本提示和HDR環(huán)境貼圖作為輸入條件，通過編碼器將這些條件嵌入模型中，并利用交叉注意力機制實現(xiàn)協(xié)同編輯。
• 光照不變集成（Illumination-Invariant Ensemble，IIE）：通過亮度增強輸入視頻并平均預測噪聲，提升模型在不同光照條件下的魯棒性，避免反照率的變化影響效果。
• 數(shù)據(jù)增強管道（LightAtlas）：結(jié)合真實視頻和3D渲染數(shù)據(jù)生成高質(zhì)量的重照明數(shù)據(jù)對，為模型提供豐富的光照先驗知識，增強其對復雜光照場景的適應能力。

RelightVid的項目地址

• 項目官網(wǎng)：https://aleafy.github.io/relightvid/
• GitHub倉庫：https://github.com/Aleafy/RelightVid
• arXiv技術(shù)論文：https://arxiv.org/pdf/2501.16330
• 在線體驗Demo：https://huggingface.co/spaces/aleafy/RelightVid

RelightVid的應用場景

• 影視制作：在電影或電視劇制作中，調(diào)整場景的光照效果，滿足不同劇情需求或?qū)а莸乃囆g(shù)構(gòu)想，避免重新拍攝。
• 游戲開發(fā)：在游戲中動態(tài)調(diào)整場景光照，增強玩家的沉浸感和視覺效果，以適應不同的時間和天氣條件。
• 增強現(xiàn)實（AR）：在AR應用中實時調(diào)整虛擬元素的光照，使其與現(xiàn)實環(huán)境的光照相一致，提升用戶體驗。
• 視頻廣告與營銷：為廣告視頻快速生成多種光照風格，以滿足不同品牌或活動的宣傳需求，提高視覺吸引力。
• 視頻內(nèi)容創(chuàng)作：幫助視頻博主或內(nèi)容創(chuàng)作者輕松改變視頻的光照氛圍，如模擬不同天氣或時間的場景，豐富創(chuàng)作內(nèi)容。

常見問題

• RelightVid支持哪些視頻格式？：RelightVid支持多種常見的視頻格式，包括MP4、AVI等。
• 如何使用RelightVid進行視頻重照明？：用戶可以通過上傳視頻、輸入文本提示或選擇背景視頻/HDR環(huán)境貼圖來實現(xiàn)重照明效果。
• 是否需要專業(yè)技能才能使用RelightVid？：RelightVid設(shè)計為用戶友好，即使是非專業(yè)用戶也能輕松上手。
• 重照明效果可以實時預覽嗎？：是的，用戶可以在調(diào)整設(shè)置時實時預覽重照明效果。