HoloTime – 北大聯(lián)合鵬城實(shí)驗(yàn)室推出的全景4D場(chǎng)景生成框架

HoloTime 是一個(gè)由北京大學(xué)深圳研究生院與鵬城實(shí)驗(yàn)室共同研發(fā)的全景 4D 場(chǎng)景生成框架。該系統(tǒng)利用視頻擴(kuò)散模型技術(shù)，能夠?qū)螐埲皥D像轉(zhuǎn)換為動(dòng)態(tài)效果豐富的全景視頻，并進(jìn)一步重構(gòu)為沉浸式的 4D 場(chǎng)景。HoloTime 采用了 360World 數(shù)據(jù)集，內(nèi)含大量固定攝像頭拍攝的全景視頻，旨在訓(xùn)練 Panoramic Animator，從而生成高質(zhì)量的全景視頻。此外，HoloTime 還推出了 Panoramic Space-Time Reconstruction 技術(shù)，通過(guò)時(shí)空深度估計(jì)將全景視頻轉(zhuǎn)換為 4D 點(diǎn)云，優(yōu)化為一致的 4D 高斯點(diǎn)云表示，為用戶提供沉浸式的虛擬現(xiàn)實(shí)體驗(yàn)。

HoloTime是什么

HoloTime 是由北京大學(xué)深圳研究生院與鵬城實(shí)驗(yàn)室聯(lián)合推出的創(chuàng)新性全景 4D 場(chǎng)景生成框架。該系統(tǒng)基于先進(jìn)的視頻擴(kuò)散模型，能夠?qū)㈧o態(tài)的全景圖像轉(zhuǎn)化為動(dòng)態(tài)的全景視頻，并進(jìn)一步重構(gòu)為沉浸感極強(qiáng)的 4D 場(chǎng)景。HoloTime 利用 360World 數(shù)據(jù)集中的豐富數(shù)據(jù)，確保生成的全景視頻具有高質(zhì)量和真實(shí)感，同時(shí)通過(guò) Panoramic Space-Time Reconstruction 技術(shù)，將視頻轉(zhuǎn)換為 4D 點(diǎn)云，為用戶提供更為豐富的虛擬現(xiàn)實(shí)體驗(yàn)。

HoloTime的主要功能

• 從全景圖像生成動(dòng)態(tài)視頻：將靜態(tài)的全景圖像轉(zhuǎn)換為包含豐富動(dòng)態(tài)信息的全景視頻，展現(xiàn)物體與場(chǎng)景變化。
• 從視頻重建4D場(chǎng)景：支持將生成的全景視頻轉(zhuǎn)換為 4D 點(diǎn)云，進(jìn)一步優(yōu)化為一致的 4D 場(chǎng)景表示，便于虛擬漫游和多視角觀察。
• 提供沉浸式體驗(yàn)：生成的 4D 場(chǎng)景為 VR（虛擬現(xiàn)實(shí)）和 AR（增強(qiáng)現(xiàn)實(shí)）應(yīng)用提供交互體驗(yàn)，用戶可以在場(chǎng)景中探索與移動(dòng)。

HoloTime的技術(shù)原理

• Panoramic Animator（全景動(dòng)畫(huà)生成器）：
  • 雙階段生成策略：首先生成低分辨率的粗略視頻以指導(dǎo)全局，隨后通過(guò)高分辨率細(xì)化模型提升局部細(xì)節(jié)。
  • 混合數(shù)據(jù)微調(diào)（Hybrid Data Fine-tuning， HDF）：結(jié)合全景視頻與相似景觀的普通視頻數(shù)據(jù)進(jìn)行訓(xùn)練，改善模型的泛化能力。
  • 全景循環(huán)技術(shù)（Panoramic Circular Techniques， PCT）：在視頻的兩端創(chuàng)造重復(fù)區(qū)域進(jìn)行混合處理，確保全景視頻的水平方向連續(xù)性，避免視覺(jué)斷裂。
• Panoramic Space-Time Reconstruction（全景時(shí)空重建）：利用全景光流估計(jì)模型和窄視場(chǎng)深度估計(jì)模型，對(duì)全景視頻每一幀進(jìn)行深度估計(jì)，確保深度信息在時(shí)間和空間上的一致性。將全景視頻及其深度圖轉(zhuǎn)換為帶有時(shí)間屬性的 4D 點(diǎn)云，作為 4D 場(chǎng)景的初步表示，通過(guò)優(yōu)化 4D 點(diǎn)云的表示，實(shí)現(xiàn)一致的 4D 場(chǎng)景重建，支持高效渲染和動(dòng)態(tài)視圖合成。
• 360World 數(shù)據(jù)集：為 Panoramic Animator 提供了大規(guī)模的固定攝像頭全景視頻數(shù)據(jù)，涵蓋豐富的場(chǎng)景與動(dòng)態(tài)信息，有助于模型學(xué)習(xí)全景視頻生成的規(guī)律。

HoloTime的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://zhouhyocean.github.io/holotime/
• GitHub倉(cāng)庫(kù)：https://github.com/PKU-YuanGroup/HoloTime
• HuggingFace模型庫(kù)：https://huggingface.co/Marblueocean/HoloTime
• arXiv技術(shù)論文：https://arxiv.org/pdf/2504.21650

HoloTime的應(yīng)用場(chǎng)景

• 虛擬現(xiàn)實(shí)（VR）與增強(qiáng)現(xiàn)實(shí)（AR）：提供沉浸式的 4D 場(chǎng)景，讓用戶在虛擬環(huán)境中探索，增強(qiáng)體驗(yàn)感。
• 虛擬旅游和在線展覽：生成全景 4D 場(chǎng)景，使用戶能夠遠(yuǎn)程游覽景點(diǎn)或展覽，仿佛身臨其境。
• 影視制作：快速生成高質(zhì)量的全景背景與特效，降低拍攝成本，同時(shí)提升視覺(jué)效果。
• 游戲開(kāi)發(fā)：創(chuàng)建動(dòng)態(tài)游戲場(chǎng)景，增強(qiáng)玩家的沉浸感與視覺(jué)體驗(yàn)。
• 建筑設(shè)計(jì)與城市規(guī)劃：通過(guò)生成全景 4D 場(chǎng)景，幫助設(shè)計(jì)師直觀展示設(shè)計(jì)方案，提前評(píng)估效果。

常見(jiàn)問(wèn)題

• HoloTime的使用門(mén)檻高嗎？：HoloTime旨在簡(jiǎn)化全景視頻與4D場(chǎng)景的生成過(guò)程，用戶只需提供靜態(tài)全景圖像，即可生成動(dòng)態(tài)視頻和4D場(chǎng)景。
• 生成的4D場(chǎng)景支持哪些設(shè)備？：生成的4D場(chǎng)景可以在支持VR和AR的設(shè)備上使用，用戶可以通過(guò)專(zhuān)用的VR頭盔或AR眼鏡進(jìn)行體驗(yàn)。
• 如何獲取HoloTime的最新更新？：用戶可以通過(guò)訪問(wèn)項(xiàng)目官網(wǎng)或GitHub倉(cāng)庫(kù)，獲取HoloTime的最新版本和更新信息。