GaussianCity – 南洋理工大學 S-Lab 團隊推出的 3D 城市生成框架

GaussianCity是什么

GaussianCity 是由南洋理工大學 S-Lab 團隊開發(fā)的一款高效、無邊界的3D城市生成框架，基于先進的3D高斯繪制（3D-GS）技術。該框架采用了緊湊的 BEV-Point 表示方法，確保在生成大規(guī)模場景時顯存（VRAM）使用量保持在穩(wěn)定水平，從而有效解決了傳統(tǒng)方法在顯存和存儲需求上的瓶頸。GaussianCity 還引入了空間感知的 BEV-Point Decoder，利用點序列化器和點變換器來捕捉BEV點的結構與上下文特征，最終生成高質量的3D高斯屬性。在無人機和街景視角的3D城市生成任務中，GaussianCity展現(xiàn)出了卓越的性能，相比于現(xiàn)有技術（如CityDreamer），其速度提升高達60倍，在生成效果和效率上都達到了新的高度。

GaussianCity的主要功能

• 高效生成大規(guī)模3D城市：能夠快速創(chuàng)建逼真且無邊界的城市環(huán)境，支持從無人機視角到街景視角的各類場景。
• 低顯存和存儲需求：通過緊湊的 BEV-Point 表示方法，確保顯存和存儲需求保持在較低水平，克服了傳統(tǒng)方法在大規(guī)模場景生成中的顯存瓶頸問題。
• 高質量視覺效果：利用空間感知的 BEV-Point Decoder，生成高細節(jié)和真實感的3D城市，支持風格化編輯和局部修改。
• 實時渲染與交互：支持實時渲染及用戶交互，能夠迅速生成高質量的3D城市圖像，適合游戲、動畫、虛擬現(xiàn)實等多種應用。

GaussianCity的技術原理

• 3D高斯繪制（3D-GS）：通過3D高斯分布來表示場景中的物體和結構，利用GPU加速渲染，實現(xiàn)高效的3D場景生成。
• BEV-Point 表示：將3D場景中的點信息分解為位置和風格屬性，結合鳥瞰圖（BEV）和風格查找表進行壓縮，確保顯存使用量不會隨著場景規(guī)模的增長而增加。
• 空間感知的BEV-Point解碼器：通過點序列化器和點變換器，捕捉BEV點的結構及上下文信息，生成3D高斯屬性，實現(xiàn)高質量的3D場景渲染。
• 高效的渲染流程：結合位置編碼器和調制MLP，生成3D高斯屬性，通過高斯光柵化器將屬性渲染為最終圖像。

GaussianCity的項目地址

• GitHub倉庫：https://github.com/hzxie/GaussianCity
• HuggingFace模型庫：https://huggingface.co/spaces/hzxie/gaussian-city
• arXiv技術論文：https://arxiv.org/pdf/2406.06526

GaussianCity的應用場景

• 游戲與虛擬現(xiàn)實（VR）：迅速生成生動的虛擬城市，支持實時渲染與交互，從而降低開發(fā)成本和時間。
• 動畫與影視制作：高效構建復雜城市場景，支持風格化渲染，顯著提升制作效率。
• 城市規(guī)劃與建筑設計：快速生成城市布局和建筑背景，輔助可視化規(guī)劃與設計。
• 自動駕駛與交通模擬：創(chuàng)建逼真的交通場景，用于算法測試和交通流量分析。
• 地理信息系統(tǒng)（GIS）：將地理數(shù)據(jù)快速轉化為3D可視化場景，支持城市建模與分析。

常見問題

• GaussianCity適合哪些行業(yè)使用？ GaussianCity廣泛適用于游戲開發(fā)、虛擬現(xiàn)實、影視制作、城市規(guī)劃等多個行業(yè)。
• 如何訪問GaussianCity的源代碼？ 您可以通過訪問其GitHub倉庫獲取GaussianCity的源代碼和相關文檔。
• GaussianCity的性能如何？ GaussianCity在大規(guī)模場景生成上表現(xiàn)出色，速度相較于現(xiàn)有技術提升了60倍。
• 能否實時生成3D城市？ 是的，GaussianCity支持實時渲染，能夠快速生成高質量的3D城市圖像。