Step1X-Edit – 階躍星辰開源的通用圖像編輯框架

Step1X-Edit是什么

Step1X-Edit 是由階躍星辰團隊開發的一款通用圖像編輯框架，旨在縮小開源圖像編輯模型與閉源模型（例如 GPT-4o 和 Gemini2 Flash）之間的性能差異。該框架結合了多模態大語言模型（MLLM）和擴散模型，能夠根據參考圖像和用戶的編輯指令提取潛在嵌入，并生成目標圖像。為了訓練此模型，研究團隊構建了一個大規模、高質量的數據生成管道，生成了超過 100 萬對圖像和指令對。同時，Step1X-Edit 還引入了新的基準測試 GEdit-Bench，以評估模型在實際用戶指令下的表現。

Step1X-Edit的主要功能

• 多樣化編輯能力：支持多種圖像編輯任務，如添加、移除或替換主體，改變背景、調整色彩、修改材質、進行風格轉換、提升肖像美感、文字編輯以及色調變化等。
• 自然語言指令驅動：用戶可以通過自然語言描述其編輯需求，模型能夠理解并執行復雜的編輯指令。
• 高質量圖像生成：生成高保真且逼真的圖像效果。
• 真實場景適配：基于大規模高質量數據集進行訓練，能夠處理現實生活中的各種復雜編輯場景。

Step1X-Edit的技術原理

• 多模態大語言模型（MLLM）：通過 MLLM 處理參考圖像與用戶編輯指令，提取語義信息，并基于其強大的語義理解能力生成與編輯任務相關的嵌入向量。
• 擴散模型（Diffusion Model）：利用擴散模型（如 DiT 風格架構）進行圖像生成。通過其高保真的生成能力，將 MLLM 提供的嵌入向量解碼為目標圖像。
• 數據生成管道：建立一個大規模、高質量的數據生成管道，生成超過 100 萬對圖像和指令對，涵蓋多種編輯任務類別，確保模型能夠學習到多樣化的編輯操作。
• 訓練策略：從文本到圖像模型初始化，保持美學質量和視覺一致性。通過聯合訓練連接模塊與下游擴散模型，優化整體性能。
• 基準測試（GEdit-Bench）：推出基于真實用戶指令的基準測試 GEdit-Bench，評估模型的實際表現，確保其在真實場景中的有效性。

Step1X-Edit的項目地址

• 項目官網：https://step1x-edit.github.io/
• GitHub倉庫：https://github.com/stepfun-ai/Step1X-Edit
• HuggingFace模型庫：https://huggingface.co/stepfun-ai/Step1X-Edit
• arXiv技術論文：https://arxiv.org/pdf/2504.17761
• 在線體驗Demo：https://huggingface.co/spaces/stepfun-ai/Step1X-Edit

Step1X-Edit的應用場景

• 創意設計：快速生成創意圖像，如更換背景、調整顏色、添加元素，從而提升設計效率。
• 影視后期：應用于特效制作，如添加或移除物體、改變外觀或調整色調，降低后期制作成本。
• 社交媒體：美化照片、添加趣味元素或調整風格，增強內容吸引力。
• 游戲開發：生成角色、場景和道具，快速調整裝備或風格，縮短美術資源開發時間。
• 教育領域：生成教學材料，如修改歷史照片或創建科學插圖，提升教學效果。

常見問題

• Step1X-Edit是否適合初學者使用？：是的，Step1X-Edit的自然語言指令驅動特性使得初學者能夠輕松上手，快速實現圖像編輯。
• 如何獲取Step1X-Edit？：用戶可以通過項目官網或GitHub倉庫下載和使用相關資源。
• 支持哪些圖像格式？：Step1X-Edit支持多種常見圖像格式，具體信息可查閱項目文檔。
• 是否有在線Demo可供體驗？：是的，用戶可以訪問在線體驗Demo進行實操練習，體驗Step1X-Edit的強大功能。