清華開源GaussianWorld：基于高斯世界模型的3D占用預(yù)測(cè)模型 | 一作左思成博士主講預(yù)告

Occ預(yù)測(cè)最新SOTA

原標(biāo)題：清華開源GaussianWorld：基于高斯世界模型的3D占用預(yù)測(cè)模型 | 一作左思成博士主講預(yù)告
文章來(lái)源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：2042字

清華大學(xué)提出基于高斯世界模型的流式3D占用預(yù)測(cè)模型GaussianWorld

本文總結(jié)了清華大學(xué)自動(dòng)化系智能視覺實(shí)驗(yàn)室（IVG）博士生左思成及其團(tuán)隊(duì)提出的基于高斯世界模型的流式三維語(yǔ)義占用預(yù)測(cè)模型GaussianWorld，該模型已開源并投稿至CVPR 2025。文章重點(diǎn)介紹了GaussianWorld的創(chuàng)新點(diǎn)、實(shí)驗(yàn)結(jié)果以及相關(guān)講座信息。

1. 現(xiàn)有方法的不足與GaussianWorld的創(chuàng)新

傳統(tǒng)的3D占用預(yù)測(cè)方法通常采用感知-轉(zhuǎn)換-融合的流程，分別處理每一幀的輸入信息，再進(jìn)行對(duì)齊和融合。這種方法忽略了駕駛場(chǎng)景的連續(xù)性和簡(jiǎn)單性。GaussianWorld則另辟蹊徑，采用顯式3D高斯分布作為場(chǎng)景表示，直接對(duì)物體進(jìn)行顯式和連續(xù)建模。這種方法能夠更有效地利用時(shí)間信息，提高預(yù)測(cè)精度。

2. GaussianWorld的核心思想

GaussianWorld的核心思想是利用高斯世界模型來(lái)預(yù)測(cè)場(chǎng)景的演變。給定歷史的3D高斯分布和當(dāng)前的視覺輸入，GaussianWorld能夠預(yù)測(cè)場(chǎng)景如何演變以及當(dāng)前的占用情況。這種基于顯式3D高斯表示的方法，避免了隱式BEV/Voxel表示的局限性，實(shí)現(xiàn)了更精確的物體建模。

3. 實(shí)驗(yàn)結(jié)果與性能

在nuScenes數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，GaussianWorld在不增加額外計(jì)算量的情況下，將單幀占用率預(yù)測(cè)提高了2%以上（mIoU），取得了SOTA的性能。這充分證明了GaussianWorld模型的有效性和優(yōu)越性。

4. 智猩猩新青年講座介紹

1月13日晚上7點(diǎn)，智猩猩邀請(qǐng)論文一作左思成博士進(jìn)行主題為《基于高斯世界模型的流式3D占用預(yù)測(cè)》的講座，內(nèi)容涵蓋自動(dòng)駕駛中的時(shí)序建模方法、基于世界模型的感知任務(wù)范式、基于高斯世界模型的流式OCC預(yù)測(cè)以及在世界模型與端到端自動(dòng)駕駛上的思考。感興趣的讀者可以通過添加小助手“陳新”報(bào)名參加。

5. 論文及代碼信息

論文標(biāo)題：《GaussianWorld: Gaussian World Model for Streaming 3D Occupancy Prediction》

論文鏈接：https://arxiv.org/abs/2412.10373

代碼鏈接：https://github.com/zuosc19/GaussianWorld

6. 總結(jié)

GaussianWorld模型為3D占用預(yù)測(cè)提供了一種新的思路，其基于顯式3D高斯分布的建模方法能夠有效利用時(shí)間信息，提高預(yù)測(cè)精度。實(shí)驗(yàn)結(jié)果也驗(yàn)證了該模型的優(yōu)越性能。該模型的開源也方便了更多研究者進(jìn)行后續(xù)的研究和應(yīng)用。感興趣的讀者可以關(guān)注相關(guān)的論文和代碼，并參加智猩猩舉辦的線上講座，了解更多細(xì)節(jié)。

聯(lián)系作者

文章來(lái)源：智猩猩GenAI
作者微信：
作者簡(jiǎn)介：智猩猩旗下公眾號(hào)之一，深入關(guān)注大模型與AI智能體，及時(shí)搜羅生成式AI技術(shù)產(chǎn)品。