Zero123

Zero123官網(wǎng)

一種從單個(gè)圖像到一致的多視圖擴(kuò)散基礎(chǔ)模型，旨在使用單視圖輸入生成 3D 一致的多視圖圖像。

網(wǎng)站提供：Ai工具箱，Ai開源項(xiàng)目，Zero123。

Zero123簡介

summary

今天，我們發(fā)布了穩(wěn)定版 Zero123，這是我們內(nèi)部訓(xùn)練的模型，用于生成視圖條件圖像。與之前最先進(jìn)的 Zero123-XL 相比，穩(wěn)定的 Zero123 產(chǎn)生了顯著改善的結(jié)果。這是通過 3 項(xiàng)關(guān)鍵創(chuàng)新實(shí)現(xiàn)的：

1、改進(jìn)的訓(xùn)練數(shù)據(jù)集，從 Objaverse 中大量過濾，只保留高質(zhì)量的 3D 對象，我們渲染的對象比以前的方法更加真實(shí)。

2、在訓(xùn)練和推理過程中，我們?yōu)槟Ｐ吞峁┝斯烙?jì)的攝像機(jī)角度。這種海拔調(diào)節(jié)使其能夠做出更明智、更高質(zhì)量的預(yù)測。

3、預(yù)先計(jì)算的數(shù)據(jù)集（預(yù)先計(jì)算的潛在變量）和改進(jìn)的數(shù)據(jù)加載器支持更高的批量大小，與第一個(gè)創(chuàng)新相結(jié)合，與 Zero123-XL 相比，訓(xùn)練效率提高了 40 倍。

Zero123特征：

穩(wěn)定的 Zero123 可以生成物體的新穎視圖，展示從各個(gè)角度對物體外觀的 3D 理解，由于訓(xùn)練數(shù)據(jù)集和高程條件的改進(jìn)，其質(zhì)量比 Zero1-to-3 或 Zero123-XL 顯著提高。

該模型基于穩(wěn)定擴(kuò)散 1.5，消耗與 SD1.5 相同數(shù)量的 VRAM 來生成 1 個(gè)新視圖。使用 Stable Zero123 生成 3D 對象需要更多時(shí)間和內(nèi)存（建議使用 24GB VRAM）。

為了實(shí)現(xiàn) 3D 對象生成方面的開放研究，我們改進(jìn)了 Threestudio 開源代碼的開源代碼，以支持 Zero123 和 Stable Zero123。 Stable 3D 流程的簡化版本目前處于私人預(yù)覽階段。從技術(shù)角度來說，這使用分?jǐn)?shù)蒸餾采樣 (SDS) 來使用穩(wěn)定的 Zero123 模型來優(yōu)化 NeRF，稍后我們可以從中創(chuàng)建紋理 3D 網(wǎng)格。該過程可以適用于文本到 3D 生成，首先使用 SDXL 生成單個(gè)圖像，然后使用 Stable Zero123 生成 3D 對象。

Zero123項(xiàng)目：https://github.com/cvlab-columbia/zero123

Zero123試用：https://huggingface.co/spaces/cvlab/zero123-live

Zero123論文：https://arxiv.org/abs/2303.11328

該模型現(xiàn)已發(fā)布在 Hugging Face 上，研究人員和非商業(yè)用戶可以下載并進(jìn)行實(shí)驗(yàn)。

Zero123官網(wǎng)入口網(wǎng)址

https://zero123.cs.columbia.edu/

OpenI小編發(fā)現(xiàn)Zero123網(wǎng)站非常受用戶歡迎，請?jiān)L問Zero123網(wǎng)址入口試用。