無需3D數據也能訓練，港科&港中文聯手華為推出3D自動駕駛場景生成模型

AIGC動態歡迎閱讀

原標題：無需3D數據也能訓練，港科&港中文聯手華為推出3D自動駕駛場景生成模型
關鍵字：場景,華為,視角,數據,方法
文章來源：量子位
內容字數：0字

內容摘要：

允中發自凹非寺量子位 | 公眾號 QbitAI無需采集3D數據，也能訓練出高質量的3D自動駕駛場景生成模型。
這是來自香港中文大學、香港科技大學和華為諾亞方舟實驗室的最新研究成果——針對自動駕駛街景的可控3D場景生成方法“MagicDrive3D”。
此前，采用常見的2D自動駕駛數據集來生成3D街景的方法不是沒有，但受采集角度所限，生成結果的可控性和幾何一致性無法同時滿足。而現在，MagicDrive3D通過結合可控生成與場景重建解決了這一限制。
不僅支持多條件控制，還突破了原始數據的局限，即使在原始圖像不一致的情況下，也能建立出連貫的高質量模型。
即使場景中有很多物體，生成結果依然真實可靠：
而且支持天氣情況的文本控制，可以一鍵從晴天切換到雨天：
道路結構、物置都能夠精確控制（隨機保留50%車）：
還可以一鍵實現白天與夜晚的轉換（隨機保留25%車）：
總之，這項成果解決了自動駕駛等無邊界場景下3D場景的高質量模型開發難題，可以有效幫助BEV分割等下游感知任務。
常規駕駛數據即可實現可控場景生成3D自動駕駛場景生成應用廣闊，然而目前3D資產的生成方法通常局限于以物體為中心的生成

原文鏈接：無需3D數據也能訓練，港科&港中文聯手華為推出3D自動駕駛場景生成模型