BLIP3-o

BLIP3-o – Salesforce Research等機構推出的多模態模型

BLIP3-o

BLIP3-o是由Salesforce Research等機構共同開發的一種前沿多模態模型，結合了自回歸模型的推理與指令遵循能力，以及擴散模型的強大生成能力。該模型以擴散語義豐富的CLIP圖像特征為基礎，摒棄了傳統的VAE特征和原始像素，展現出卓越的圖像理解與生成能力。

BLIP3-o是什么

BLIP3-o是一種創新的多模態模型，由Salesforce Research等機構推出。它融合了自回歸模型的推理與指令遵循能力，以及擴散模型的強大生成能力。該模型基于擴散語義豐富的CLIP圖像特征，避免使用傳統的VAE特征或原始像素，在圖像理解與生成方面表現出眾。BLIP3-o采用順序預訓練策略，首先進行圖像理解訓練，再進行圖像生成訓練，從而在保留圖像理解能力的同時，發展出強大的圖像生成能力。該模型在多個圖像理解與生成基準測試中取得了優異的成績，并且完全開源，提供了代碼、模型權重、預訓練以及指令調整數據集。

BLIP3-o的主要功能

文本生成：生成與圖像內容相匹配的描述性文本。
圖像理解：解析輸入圖像并生成描述性文本，支持視覺問答（VQA）和圖像分類等多種任務。
文本到圖像生成：根據文本描述生成高質量圖像。
圖像編輯：對現有圖像進行修改和編輯，生成新的圖像。
混合訓練：支持同時進行圖像生成與理解任務的訓練，提升模型的整體性能。

BLIP3-o的技術原理

自回歸與擴散模型的結合：自回歸模型生成中間視覺特征，捕捉文本描述中的語義信息；擴散模型負責最終圖像的生成，通過逐步去除噪聲來生成高質量且多樣的圖像。
基于CLIP特征的擴散：使用CLIP模型對圖像進行編碼，生成語義豐富的特征向量，相比傳統的VAE特征，這些特征更為緊湊且信息量更大。擴散模型則以CLIP特征為基礎，實現高質量圖像生成。
順序預訓練策略：模型首先進行圖像理解任務的預訓練，以確保其具備強大的圖像理解能力。在此基礎上，凍結自回歸模型的權重，僅對擴散模型進行訓練，從而實現高效的圖像生成。
流匹配損失函數：采用流匹配損失函數來訓練擴散模型，該損失函數能夠更好地捕捉圖像特征的分布，生成更高質量的圖像。引入隨機性使得模型能夠生成多樣化的輸出，而不僅僅是單一結果。
指令調整數據集：基于GPT-4o生成的多樣化提示，構建了一個包含60,000個高質量提示圖像對的數據集，用于微調模型，提高其指令遵循能力和視覺審美質量。