WorldCraft – 港科大推出的3D虛擬世界創(chuàng)建和定制系統(tǒng)

WorldCraft是什么

WorldCraft是由香港科技大學(xué)研發(fā)的一款基于大型語言模型（LLM）代理的3D世界構(gòu)建與定制系統(tǒng)，旨在幫助用戶創(chuàng)建和個(gè)性化逼真的3D虛擬環(huán)境。通過自然語言交互，用戶能夠輕松生成復(fù)雜的室內(nèi)外場(chǎng)景，并對(duì)場(chǎng)景中的物體和布局進(jìn)行精細(xì)的調(diào)整。WorldCraft包括三個(gè)主要模塊：ForgeIt用于單個(gè)物體的定制，采用程序化生成技術(shù)實(shí)現(xiàn)幾何形狀和紋理的精準(zhǔn)控制；ArrangeIt負(fù)責(zé)場(chǎng)景布局的生成，利用分層數(shù)值優(yōu)化方法在功能與美學(xué)之間取得平衡；軌跡控制模塊則支持用戶通過對(duì)話指令控制物體和相機(jī)軌跡，從而生成動(dòng)畫和視頻。WorldCraft兼容現(xiàn)有深度3D生成器，能豐富場(chǎng)景資產(chǎn)，使非專業(yè)用戶也能高效實(shí)現(xiàn)創(chuàng)意設(shè)計(jì)。

WorldCraft的主要功能

• 自然語言交互：用戶通過簡(jiǎn)單的文本指令或?qū)υ捫问絼?chuàng)建和定制復(fù)雜的3D場(chǎng)景，無需具備3D建模的專業(yè)技能。
• 單個(gè)物體定制：用戶可以精確控制物體的幾何形狀、紋理和材質(zhì)，實(shí)現(xiàn)個(gè)性化的設(shè)計(jì)。
• 場(chǎng)景布局生成：根據(jù)用戶的設(shè)計(jì)意圖（例如功能性與美觀要求），智能生成合理的物體布局。
• 場(chǎng)景動(dòng)畫控制：用戶可利用自然語言描述物體或相機(jī)的軌跡，生成流暢的動(dòng)畫和視頻。
• 兼容性與擴(kuò)展性：系統(tǒng)支持與現(xiàn)有深度3D生成器（如Infinigen）結(jié)合，為場(chǎng)景增加藝術(shù)化的物體和細(xì)節(jié)，提升視覺效果。

WorldCraft的技術(shù)原理

• 協(xié)調(diào)代理（Coordinator Agent）：負(fù)責(zé)管理整個(gè)3D場(chǎng)景的生成過程，將復(fù)雜任務(wù)分解為多個(gè)子任務(wù)，并協(xié)調(diào)其他模塊完成這些任務(wù)，支持用戶與系統(tǒng)的多輪交互，以實(shí)時(shí)調(diào)整生成結(jié)果。
• 單個(gè)物體生成與定制：通過LLM代理操作程序化生成器（如Infinigen），用戶可用自然語言指令生成具有精準(zhǔn)幾何形狀和PBR紋理的3D物體。系統(tǒng)建立動(dòng)態(tài)更新的手冊(cè)，指導(dǎo)代理完成復(fù)雜生成任務(wù)，并支持多輪對(duì)話編輯。
• 場(chǎng)景布局優(yōu)化：將場(chǎng)景布局問題轉(zhuǎn)化為分層數(shù)值優(yōu)化問題，利用模擬退火算法來尋找最優(yōu)布局。用戶可以用自然語言描述布局需求，從而將設(shè)計(jì)意圖轉(zhuǎn)化為優(yōu)化目標(biāo)和約束條件。
• 軌跡控制模塊：基于ChatCam擴(kuò)展，允許用戶用自然語言描述物體或相機(jī)的軌跡，將這些描述轉(zhuǎn)化為具體的命令，以實(shí)現(xiàn)場(chǎng)景動(dòng)畫的生成。
• 深度3D生成器集成：系統(tǒng)與現(xiàn)有的深度3D生成器兼容，豐富藝術(shù)化物體和場(chǎng)景細(xì)節(jié)。通過程序化生成與深度生成的結(jié)合，提升場(chǎng)景的視覺質(zhì)量與多樣性。

WorldCraft的項(xiàng)目地址

• arXiv技術(shù)論文：https://arxiv.org/pdf/2502.15601

WorldCraft的應(yīng)用場(chǎng)景

• 建筑設(shè)計(jì)與室內(nèi)設(shè)計(jì)：快速生成建筑概念模型和虛擬樣板間，基于自然語言定制室內(nèi)布局與風(fēng)格，優(yōu)化設(shè)計(jì)流程，提高客戶體驗(yàn)。
• 影視與娛樂：構(gòu)建虛擬電影場(chǎng)景、游戲關(guān)卡及動(dòng)畫電影中的復(fù)雜場(chǎng)景，降低實(shí)景搭建成本，為虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）體驗(yàn)提供高度真實(shí)的虛擬環(huán)境。
• 教育與培訓(xùn)：設(shè)計(jì)虛擬實(shí)驗(yàn)室、歷史場(chǎng)景、地理環(huán)境和醫(yī)療培訓(xùn)場(chǎng)景，利用沉浸式體驗(yàn)增強(qiáng)學(xué)習(xí)效果，支持遠(yuǎn)程教育與專業(yè)技能培訓(xùn)。
• 產(chǎn)品設(shè)計(jì)與展示：快速生成產(chǎn)品概念模型與虛擬展廳，展示家具、汽車、電子設(shè)備等產(chǎn)品的設(shè)計(jì)，支持個(gè)性化定制和虛擬廣告場(chǎng)景的創(chuàng)建。
• 文化與藝術(shù)：創(chuàng)建虛擬博物館、藝術(shù)展覽、歷史建筑及文化節(jié)日?qǐng)鼍埃噩F(xiàn)文化遺產(chǎn)，為藝術(shù)創(chuàng)作與文化體驗(yàn)提供沉浸式空間。

常見問題

• WorldCraft是否易于上手？是的，WorldCraft通過自然語言交互使得用戶無需具備專業(yè)技能即可輕松創(chuàng)建3D場(chǎng)景。
• 我可以使用WorldCraft進(jìn)行商業(yè)項(xiàng)目嗎？是的，WorldCraft支持商業(yè)用途，允許用戶利用其功能進(jìn)行各種項(xiàng)目開發(fā)。
• WorldCraft的兼容性如何？WorldCraft與現(xiàn)有的深度3D生成器兼容，能夠與多種工具和平臺(tái)無縫集成。