單圖就能解鎖全景視角！北大/港中文/騰訊等推出ViewCrafter | 已開源

AIGC動態(tài)歡迎閱讀

原標(biāo)題：單圖就能解鎖全景視角！北大/港中文/騰訊等推出ViewCrafter | 已開源
關(guān)鍵字：新視角,騰訊,視角,視頻,團(tuán)隊(duì)
文章來源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

ViewCrafter團(tuán)隊(duì) 投稿量子位 | 公眾號 QbitAI隨便給張圖就能從更多視角查看全景了？！
話不多說，先看一波效果，單視角輸入be like：難度升級，接下來換成雙視角，看起來銜接也非常絲滑。以上來自ViewCrafter，由北大、港中文、騰訊等機(jī)構(gòu)的研究人員提出，可以從單張或稀疏輸入圖像生成精確相機(jī)可控的新視角視頻。
還支持場景級文生3D、圖生3D、以及稀疏視角重建等應(yīng)用。目前論文和代碼均已開源，并提供了在線Huggingface demo供用戶使用。
ViewCrafter：一種新視角生成方法傳統(tǒng)的新視角生成方法，如NeRF和3D-GS等技術(shù)，存在一個痛點(diǎn)：
依賴于密集的多視角訓(xùn)練數(shù)據(jù)
這限制了它們在僅有稀疏（輸入圖像數(shù)量有限，不能提供完整視角或詳盡場景信息）甚至單張輸入視角的情況下的應(yīng)用。
同時，傳統(tǒng)方法對訓(xùn)練資源的需求較高，且不具備泛化能力，這限制了它們在訓(xùn)練資源受限場景下的應(yīng)用。
因此，ViewCrafter最終想實(shí)現(xiàn)：
從稀疏視角圖像甚至單張輸入圖像中生成任意規(guī)模場景的新視角。
這需要模型對3D物理世界有全面的理解。
接下來一起康康具體咋實(shí)現(xiàn)的。
概括而言，Vi

原文鏈接：單圖就能解鎖全景視角！北大/港中文/騰訊等推出ViewCrafter | 已開源

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：