xAR

xAR – 字節聯合霍普金斯大學推出的自回歸視覺生成框架

xAR是什么

xAR 是一款由字節跳動與約翰·霍普金斯大學合作開發的先進自回歸視覺生成框架。該框架采用“下一個X預測”（Next-X Prediction）和“噪聲上下文學習”（Noisy Context Learning）技術，有效解決了傳統自回歸模型在視覺生成中存在的信息密度不足及累積誤差的問題。

xAR的主要功能

• 下一個X預測（Next-X Prediction）：該功能超越了傳統的“下一個標記預測”，使模型能夠預測更復雜的視覺實體（例如圖像塊、單元、子采樣和整體圖像），從而捕捉到更豐富的語義信息。
• 噪聲上下文學習（Noisy Context Learning）：通過在訓練過程中引入噪聲，該技術增強了模型對誤差的魯棒性，顯著緩解了累積誤差問題。
• 卓越的生成性能：在ImageNet數據集上，xAR模型在推理速度和生成質量上均優于現有技術，如DiT及其他擴散模型。
• 靈活的預測單元：支持多種預測單元設計（如單元、子采樣和多尺度預測等），適應不同的視覺生成任務。

xAR的技術原理

• 流匹配（Flow Matching）：xAR通過流匹配方法將離散標記分類問題轉化為連續實體回歸問題，具體過程包括：
  • 模型通過插值和噪聲注入生成帶噪聲的輸入。
  • 在每個自回歸步驟中，模型預測從噪聲分布到目標分布的方向流（Velocity），從而逐步優化生成結果。
• 推理策略：在推理階段，xAR采用自回歸的方式逐步生成圖像：
  • 首先從高斯噪聲中預測初始單元（例如8×8的圖像塊）。
  • 基于已生成的單元，模型逐步生成下一個單元，直至完成整個圖像的生成。
• 實驗結果：xAR在ImageNet-256和ImageNet-512基準測試中顯示出顯著的性能提升：
  • xAR-B（1.72億參數）模型在推理速度上比DiT-XL（6.75億參數）快20倍，同時在弗雷歇生成距離（FID）上達到1.72，超越了現有的擴散模型和自回歸模型。
  • xAR-H（11億參數）模型在ImageNet-256上達到了1.24的FID，創造了新的最優記錄，并且不依賴于視覺基礎模型（如DINOv2）或高級引導區間采樣。

xAR的項目地址

• 項目官網：https://oliverrensu.github.io/project/xAR/
• arXiv技術論文：https://arxiv.org/pdf/2502.20388

xAR的應用場景

• 藝術創作：藝術家可以利用xAR生成創意圖像，作為創作靈感的來源或直接用于藝術作品的創作。xAR能夠生成豐富細節和多樣風格的圖像，滿足不同分辨率和風格的需求。
• 虛擬場景生成：在游戲開發和虛擬現實（VR）領域，xAR可以迅速生成逼真的虛擬場景，包括自然風光、城市環境和虛擬角色等，極大提升用戶體驗。
• 老照片修復：通過生成高質量的圖像內容，xAR能夠修復老照片中的損壞部分，恢復其原始細節和色彩。
• 視頻內容生成：xAR可用于生成視頻中特定的場景或對象，應用于視頻特效制作、動畫生成及視頻編輯等領域。
• 數據增強：通過生成多樣化的圖像，xAR能夠擴展訓練數據集，提升模型的泛化能力和魯棒性。

常見問題

• xAR的使用門檻高嗎？：xAR設計上考慮了用戶友好性，提供了易于使用的界面，適合不同技能水平的用戶。
• 生成的圖像質量如何？：xAR在多個基準測試中展現了優異的生成質量，其生成的圖像細節豐富，風格多樣。
• 是否支持多種平臺？：xAR可以在多種計算環境中運行，適用于研究、開發及商業應用。