ViewCrafter是一種由北京大學(xué)與香港中文大合騰訊研發(fā)的前沿視頻擴(kuò)散模型，能夠從單張或少量圖片中生成高保真度的新視角。它結(jié)合了視頻擴(kuò)散模型的生成優(yōu)勢(shì)和基于點(diǎn)的三維表示，能夠準(zhǔn)確控制相機(jī)姿態(tài)，從而生成高質(zhì)量的視頻幀。通過(guò)迭代的視圖合成策略和攝像機(jī)軌跡規(guī)劃，ViewCrafter能夠逐步擴(kuò)展三維線索，生成更豐富的新視圖。在多個(gè)數(shù)據(jù)集上展現(xiàn)出卓越的泛化能力和性能，為實(shí)時(shí)渲染的沉浸式體驗(yàn)以及場(chǎng)景級(jí)文本到三維生成等應(yīng)用開(kāi)辟了新的可能性。

ViewCrafter是什么

ViewCrafter是一種先進(jìn)的視頻擴(kuò)散模型，旨在從單個(gè)或少量圖像中合成高保真的新視角。它融合了視頻擴(kuò)散模型的強(qiáng)大生成能力和基于點(diǎn)的三維表示，能夠精確控制相機(jī)的姿態(tài)，以生成高質(zhì)量的視頻幀。通過(guò)迭代的視圖合成方法和攝像機(jī)軌跡的智能規(guī)劃，ViewCrafter能夠逐步擴(kuò)展三維信息，產(chǎn)生更廣泛的新視圖。該模型在多個(gè)數(shù)據(jù)集上表現(xiàn)出色，為實(shí)時(shí)渲染的沉浸式體驗(yàn)及場(chǎng)景級(jí)文本到三維生成等應(yīng)用提供了新的可能性。

ViewCrafter的主要功能

• 新視圖生成：能夠從單張或少量圖像中合成新視角，擴(kuò)展用戶的視覺(jué)體驗(yàn)。
• 三維場(chǎng)景重構(gòu)：重建場(chǎng)景的三維結(jié)構(gòu)，為新視圖的生成提供幾何基礎(chǔ)。
• 內(nèi)容創(chuàng)作支持：支持通過(guò)文本描述或其他創(chuàng)意輸入生成三維場(chǎng)景，增強(qiáng)內(nèi)容創(chuàng)作的靈活性。
• 實(shí)時(shí)渲染能力：優(yōu)化三維場(chǎng)景表示，實(shí)現(xiàn)實(shí)時(shí)渲染，適用于虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等應(yīng)用。
• 良好的數(shù)據(jù)集泛化能力：在多個(gè)數(shù)據(jù)集上驗(yàn)證模型性能，確保其在不同場(chǎng)景下的適應(yīng)性。

ViewCrafter的技術(shù)原理

• 點(diǎn)云重建技術(shù)：基于密集立體視覺(jué)算法從輸入圖像中提取深度信息，構(gòu)建場(chǎng)景的三維點(diǎn)云模型。
• 視頻擴(kuò)散生成模型：采用深度學(xué)習(xí)中的生成模型，特別是擴(kuò)散模型，從噪聲圖像中迭代恢復(fù)出清晰的圖像。
• 迭代視圖合成過(guò)程：不斷優(yōu)化新視圖的生成，每次迭代都包含生成新視圖與更新點(diǎn)云模型的步驟。
• 攝像機(jī)軌跡智能規(guī)劃：自動(dòng)規(guī)劃攝像機(jī)的移動(dòng)軌跡，從不同角度捕捉場(chǎng)景，生成更加全面的視圖。
• 三維場(chǎng)景理解能力：結(jié)合點(diǎn)云與生成模型，理解場(chǎng)景的三維結(jié)構(gòu)，生成與原始場(chǎng)景一致的新視圖。

ViewCrafter的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://drexubery.github.io/ViewCrafter/
• GitHub倉(cāng)庫(kù)：https://github.com/Drexubery/ViewCrafter
• arXiv技術(shù)論文：https://arxiv.org/pdf/2409.02048v1
• HuggingFace Demo體驗(yàn)：https://huggingface.co/spaces/Doubiiu/ViewCrafter

ViewCrafter的應(yīng)用場(chǎng)景

• 影視制作：在特效鏡頭中生成新視角，增強(qiáng)影視后期制作中的視覺(jué)效果。
• 游戲開(kāi)發(fā)：為電子游戲創(chuàng)造逼真的環(huán)境和背景，提升玩家的沉浸感。
• 虛擬現(xiàn)實(shí)（VR）：在虛擬現(xiàn)實(shí)應(yīng)用中生成360度全景圖像，增強(qiáng)用戶的沉浸感。
• 增強(qiáng)現(xiàn)實(shí)（AR）：在現(xiàn)實(shí)世界中無(wú)縫融合虛擬對(duì)象，提供豐富的交互體驗(yàn)。
• 建筑可視化：幫助設(shè)計(jì)師從不同視角展示建筑模型，提供更直觀的設(shè)計(jì)評(píng)估。

常見(jiàn)問(wèn)題

如需了解有關(guān)ViewCrafter的更多信息，歡迎訪問(wèn)我們的官方網(wǎng)站或GitHub頁(yè)面，獲取技術(shù)文檔與支持。