從任意模態(tài)到完美CAD模型：AI一鍵生成的未來(lái)設(shè)計(jì)

全球首個(gè)同時(shí)支持文本描述、圖像、點(diǎn)云等多模態(tài)輸入的計(jì)算機(jī)輔助設(shè)計(jì)（CAD）生成大模型。

原標(biāo)題：文本、圖像、點(diǎn)云任意模態(tài)輸入，AI能夠一鍵生成高質(zhì)量CAD模型了
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：4789字

多模態(tài)CAD生成大模型的創(chuàng)新研究

近年來(lái)，計(jì)算機(jī)輔助設(shè)計(jì)（CAD）技術(shù)在工業(yè)設(shè)計(jì)與制造領(lǐng)域扮演著重要角色。然而，傳統(tǒng)CAD軟件對(duì)專(zhuān)業(yè)知識(shí)的高要求限制了非專(zhuān)業(yè)用戶(hù)的參與。為此，上海科技大學(xué)與憶生科技聯(lián)合開(kāi)展了一項(xiàng)創(chuàng)新研究，推出了名為CAD-MLLM的多模態(tài)CAD生成大模型，旨在降低使用門(mén)檻，提升設(shè)計(jì)效率。

1. 項(xiàng)目背景與目標(biāo)

CAD軟件普遍缺乏簡(jiǎn)易的交互工具，導(dǎo)致非專(zhuān)業(yè)用戶(hù)難以嘗試和探索設(shè)計(jì)?，F(xiàn)有的多模態(tài)大模型技術(shù)尚未充分應(yīng)用于CAD領(lǐng)域，因此項(xiàng)目團(tuán)隊(duì)的目標(biāo)是開(kāi)發(fā)一個(gè)統(tǒng)一框架，能夠處理文本、圖像和點(diǎn)云等多種輸入，以實(shí)現(xiàn)高效的CAD生成。

2. Omni-CAD數(shù)據(jù)集的構(gòu)建

為支持多模態(tài)CAD生成，團(tuán)隊(duì)構(gòu)建了一個(gè)超過(guò)45萬(wàn)條數(shù)據(jù)的Omni-CAD數(shù)據(jù)集。該數(shù)據(jù)集包含CAD模型構(gòu)造命令序列、文本描述、多個(gè)視角的圖像以及點(diǎn)云數(shù)據(jù)，填補(bǔ)了CAD多模態(tài)數(shù)據(jù)資源的空白，為模型訓(xùn)練提供了堅(jiān)實(shí)基礎(chǔ)。

3. 技術(shù)創(chuàng)新點(diǎn)

本研究的主要技術(shù)創(chuàng)新包括：

（1）首次提出支持多模態(tài)輸入的參數(shù)化CAD生成模型，能夠同時(shí)處理文本、圖像和點(diǎn)云數(shù)據(jù)。

（2）建立了全面的數(shù)據(jù)構(gòu)造和標(biāo)注管道，確保數(shù)據(jù)的多樣性和準(zhǔn)確性。

（3）創(chuàng)新性地提出四種量化評(píng)估指標(biāo)，針對(duì)CAD模型的拓?fù)滟|(zhì)量和空間封閉性進(jìn)行評(píng)估，提供更全面的性能衡量標(biāo)準(zhǔn)。

4. 性能評(píng)估與結(jié)果

研究團(tuán)隊(duì)通過(guò)與多個(gè)基準(zhǔn)工作進(jìn)行比較，展示了CAD-MLLM在重建精度和拓?fù)渫暾陨系淖吭奖憩F(xiàn)。尤其是在處理帶有噪聲和缺失點(diǎn)云數(shù)據(jù)時(shí)，模型展現(xiàn)出良好的魯棒性。此外，研究還強(qiáng)調(diào)了多模態(tài)數(shù)據(jù)訓(xùn)練對(duì)生成能力的提升作用，證明了結(jié)合多種輸入能夠彌補(bǔ)單一模態(tài)數(shù)據(jù)的不足。

5. 結(jié)論與展望

CAD-MLLM的成功開(kāi)發(fā)不僅降低了非專(zhuān)業(yè)用戶(hù)的使用門(mén)檻，還為CAD設(shè)計(jì)領(lǐng)域注入了新的活力。未來(lái)，研究團(tuán)隊(duì)將繼續(xù)探索多模態(tài)模型在更廣泛應(yīng)用場(chǎng)景中的潛力，引領(lǐng)CAD技術(shù)的進(jìn)一步發(fā)展。

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：
作者簡(jiǎn)介：專(zhuān)業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)