邁入4D新時(shí)代:?jiǎn)我暯且曨l如何重塑我們的視覺體驗(yàn)!
這項(xiàng)研究將進(jìn)一步改進(jìn)自動(dòng)駕駛場(chǎng)景的重建效果。
原標(biāo)題:世界模型進(jìn)入4D時(shí)代!單視角視頻構(gòu)建的視角4D世界來(lái)了
文章來(lái)源:機(jī)器之心
內(nèi)容字?jǐn)?shù):4975字
ReconDreamer:自動(dòng)駕駛場(chǎng)景重建的新突破
近年來(lái),人工智能技術(shù)以驚人的速度改變著我們對(duì)世界的認(rèn)知。李飛飛教授團(tuán)隊(duì)的研究表明,單張圖片生成三維物理世界的能力展現(xiàn)了空間智能的巨大潛力。最近,極佳科技與北京大學(xué)、理想汽車及中國(guó)科學(xué)院自動(dòng)化研究所共同推出了ReconDreamer,這一技術(shù)使得自動(dòng)駕駛場(chǎng)景的視角重建和生成成為可能。
研究背景與挑戰(zhàn)
閉環(huán)仿真是實(shí)現(xiàn)大規(guī)模端到端自動(dòng)駕駛的重要步驟,其中場(chǎng)景重建是關(guān)鍵環(huán)節(jié)。然而,現(xiàn)有的場(chǎng)景重建技術(shù)如NeRF和3DGS受到訓(xùn)練數(shù)據(jù)分布的限制,難以高效重建復(fù)雜駕駛環(huán)境。ReconDreamer通過訓(xùn)練世界模型,采用漸進(jìn)式修復(fù)策略,顯著提升了在大范圍視角變化下的渲染質(zhì)量。
ReconDreamer的創(chuàng)新框架
ReconDreamer的整體框架首先利用傳統(tǒng)方法進(jìn)行場(chǎng)景重建,然后采樣新軌跡進(jìn)行渲染。通過引入DriveRestorer,ReconDreamer能夠修復(fù)低質(zhì)量視頻,消除偽影與缺陷。此外,采用漸進(jìn)式數(shù)據(jù)更新策略,從小位移渲染開始,逐步擴(kuò)展到大范圍渲染,以提升渲染質(zhì)量。
實(shí)驗(yàn)結(jié)果與性能提升
實(shí)驗(yàn)結(jié)果顯示,ReconDreamer在大范圍相機(jī)中表現(xiàn)出色,顯著提升了動(dòng)態(tài)駕駛場(chǎng)景的渲染質(zhì)量,消除了“鬼影”現(xiàn)象,并增強(qiáng)了交通元素的清晰度。定量實(shí)驗(yàn)表明,相較于傳統(tǒng)三維重建算法,ReconDreamer在復(fù)雜場(chǎng)景中的渲染效果更加優(yōu)秀,并獲得了用戶的高度認(rèn)可,超過95%的投票率支持其渲染效果。
總結(jié)與未來(lái)展望
ReconDreamer是極佳科技團(tuán)隊(duì)在DriveDreamer系列工作的延續(xù),致力于提升自動(dòng)駕駛場(chǎng)景重建的精度和可靠性。這一技術(shù)不僅為端到端自動(dòng)駕駛系統(tǒng)的開發(fā)提供了更加真實(shí)的環(huán)境,也為未來(lái)4D空間智能的應(yīng)用奠定了基礎(chǔ),具有廣泛的應(yīng)用前景。
聯(lián)系作者
文章來(lái)源:機(jī)器之心
作者微信:
作者簡(jiǎn)介:專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)