全球首個同時支持文本描述、圖像、點云等多模態輸入的計算機輔助設計（CAD）生成大模型。

原標題：文本、圖像、點云任意模態輸入，AI能夠一鍵生成高質量CAD模型了
文章來源：機器之心
內容字數：4789字

多模態CAD生成大模型的創新研究

近年來，計算機輔助設計（CAD）技術在工業設計與制造領域扮演著重要角色。然而，傳統CAD軟件對專業知識的高要求限制了非專業用戶的參與。為此，上海科技大學與憶生科技聯合開展了一項創新研究，推出了名為CAD-MLLM的多模態CAD生成大模型，旨在降低使用門檻，提升設計效率。

1. 項目背景與目標

CAD軟件普遍缺乏簡易的交互工具，導致非專業用戶難以嘗試和探索設計。現有的多模態大模型技術尚未充分應用于CAD領域，因此項目團隊的目標是開發一個統一框架，能夠處理文本、圖像和點云等多種輸入，以實現高效的CAD生成。

2. Omni-CAD數據集的構建

為支持多模態CAD生成，團隊構建了一個超過45萬條數據的Omni-CAD數據集。該數據集包含CAD模型構造命令序列、文本描述、多個視角的圖像以及點云數據，填補了CAD多模態數據資源的空白，為模型訓練提供了堅實基礎。

3. 技術創新點

本研究的主要技術創新包括：

（1）首次提出支持多模態輸入的參數化CAD生成模型，能夠同時處理文本、圖像和點云數據。

（2）建立了全面的數據構造和標注管道，確保數據的多樣性和準確性。

（3）創新性地提出四種量化評估指標，針對CAD模型的拓撲質量和空間封閉性進行評估，提供更全面的性能衡量標準。

4. 性能評估與結果

研究團隊通過與多個基準工作進行比較，展示了CAD-MLLM在重建精度和拓撲完整性上的卓越表現。尤其是在處理帶有噪聲和缺失點云數據時，模型展現出良好的魯棒性。此外，研究還強調了多模態數據訓練對生成能力的提升作用，證明了結合多種輸入能夠彌補單一模態數據的不足。

5. 結論與展望

CAD-MLLM的成功開發不僅降低了非專業用戶的使用門檻，還為CAD設計領域注入了新的活力。未來，研究團隊將繼續探索多模態模型在更廣泛應用場景中的潛力，引領CAD技術的進一步發展。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺