OmniSVG – 復旦聯合 StepFun 推出端到端多模態矢量圖形生成模型

OmniSVG是復旦大學與StepFun聯合推出的全球首個端到端多模態SVG（可縮放矢量圖形）生成模型。依托于預訓練的視覺語言模型（VLM），OmniSVG通過其獨特的SVG標記化技術，將SVG指令與坐標巧妙地轉化為離散令牌，從而實現結構邏輯與幾何細節的有效分離。這一創新使得OmniSVG能夠高效生成從簡單圖標到復雜動漫角色等多樣化的高質量SVG圖形。

OmniSVG是什么

OmniSVG是由復旦大學與StepFun合作開發的全球首個端到端多模態SVG生成模型。該模型基于先進的預訓練視覺語言模型（VLM），采用創新性的SVG標記化方法，將SVG命令和坐標轉化為離散令牌，有效解耦了結構邏輯與幾何細節。這使得OmniSVG能夠高效地生成各種SVG圖形，從簡單的圖標到復雜的動漫角色，具有廣泛的應用潛力。

主要功能

• 多模態生成：OmniSVG是首個能夠根據文本描述、圖像參考或角色參考生成高質量SVG圖形的端到端多模態生成模型，能夠創造出豐富多樣的圖形。
• 高效生成與訓練：基于預訓練的視覺語言模型Qwen-VL，OmniSVG采用獨特的SVG標記化方法，將SVG命令與坐標參數化為離散令牌，訓練效率比傳統方法提升了超過3倍，支持處理多達30,000個令牌的序列，能夠生成細節豐富的復雜SVG圖像。
• 數據集與評估：OmniSVG團隊推出了MMSVG-2M數據集，涵蓋200萬個帶多模態標注的SVG資源，分為圖標、插圖和角色三大類別。同時，他們提出了標準化的評估協議MMSVG-Bench，用于測試條件SVG生成任務的性能。
• 可編輯性與實用性：生成的SVG文件具備無限縮放性和完全可編輯性，能夠無縫融入Adobe Illustrator等專業設計工具的工作流程中，提升了AI生成圖形在圖形設計和網頁開發領域的實際應用價值。

技術原理

• 基于預訓練視覺語言模型（VLM）：OmniSVG構建于預訓練的視覺語言模型Qwen-VL之上，深度融合圖像與文本信息，為多模態生成奠定了堅實基礎。
• SVG標記化方法：OmniSVG創新性地將SVG命令和坐標參數化為離散令牌，以類似自然語言處理的方式處理SVG生成，提升了訓練效率，同時保持了生成復雜SVG結構的能力。
• 端到端多模態生成框架：OmniSVG支持多種輸入方式（如文本描述、圖像參考或角色參考）直接生成SVG圖形，這種端到端的生成框架能夠創造出色彩豐富、細節生動的矢量圖形，克服了傳統生成方法的限制。
• 高效訓練與長序列處理：OmniSVG的訓練速度比傳統方法提升了3倍以上，且能夠處理長達30,000個令牌的序列，能夠生成包含豐富細節的復雜SVG圖形。

項目地址

• 項目官網：https://omnisvg.github.io/
• Github倉庫：https://github.com/OmniSVG
• HuggingFace模型庫：https://huggingface.co/OmniSVG
• arXiv技術論文：https://arxiv.org/pdf/2504.06263

應用場景

• 品牌圖標設計：OmniSVG能夠根據文本描述迅速生成品牌圖標，設計師無需從零開始繪制，顯著縮短了手動設計的時間。
• 網頁開發：圖標是網頁開發中不可或缺的元素。OmniSVG可以根據文本描述或圖像參考生成可無損縮放的矢量圖標，適應從移動設備到4K顯示器的各種分辨率。
• 角色與場景設計：在游戲開發中，OmniSVG可用于生成游戲角色、場景等圖形素材，為游戲增添獨特的藝術風格。
• 動態角色生成：基于角色參考，OmniSVG能夠生成保持相同角色特征但姿勢或場景不同的矢量圖形。
• 快速原型設計：內容創作者可以利用OmniSVG快速生成圖標、插圖或角形的原型，加速創作流程。

常見問題

• OmniSVG支持哪些輸入形式？：OmniSVG支持文本描述、圖像參考和角色參考等多種輸入形式。
• 生成的SVG文件可以編輯嗎？：是的，生成的SVG文件具備完全可編輯性，可以在專業設計工具中進行修改。
• OmniSVG的訓練效率如何？：與傳統方法相比，OmniSVG的訓練效率提高了3倍以上，能夠處理長達30,000個令牌的序列。