FluxSR

FluxSR – 上海交大聯合華為等高校推出的圖像超分辨率模型

FluxSR是什么

FluxSR是一種先進的單步擴散模型，由上海交通大學、哈佛大學、華南理工大學及華為諾亞方舟實驗室共同研發(fā)，專門用于真實世界圖像超分辨率（Real-ISR）任務。該模型基于FLUX.1-dev文本到圖像（T2I）擴散模型，通過流軌跡蒸餾（FTD）技術，將多步流匹配模型轉化為高效的單步超分辨率模型。FluxSR的核心優(yōu)勢在于能夠在保持T2I模型高真實感的基礎上，快速生成高質量的超分辨率圖像。通過使用TV-LPIPS感知損失和注意力多樣化損失（ADL），FluxSR優(yōu)化了圖像的高頻細節(jié)，減少了產生的偽影。在多個數據集上，FluxSR展現出卓越的性能，尤其在無參考圖像質量評估指標上表現突出，同時顯著降低了計算成本，為高效且高質量的圖像超分辨率提供了全新的解決方案。

FluxSR的主要功能

高效單步超分辨率重建：在單步擴散過程中，FluxSR能夠迅速將低分辨率圖像恢復為高分辨率圖像，顯著降低計算開銷和推理延遲，滿足快速圖像處理的需求。
高真實感圖像生成：通過預訓練的文本到圖像（T2I）模型提取高真實感細節(jié)，使得生成的超分辨率圖像具有豐富的細節(jié)和真實感。
高頻細節(jié)恢復和偽影抑制：有效恢復圖像的高頻細節(jié)，減少高頻偽影和重復模式的生成。

FluxSR的技術原理

流軌跡蒸餾（Flow Trajectory Distillation，FTD）：
- 噪聲到圖像流的生成：利用預訓練的T2I模型生成噪聲到圖像的流。
- 低分辨率到高分辨率流的推導：通過數學關系推導出低分辨率到高分辨率的流軌跡，從而避免直接優(yōu)化超分辨率流所導致的分布偏移。
單步擴散模型的訓練策略：采用對大模型友好的訓練策略，離線生成噪聲到圖像的流數據對，減少在訓練過程中對額外教師模型的依賴，顯著降低內存消耗和訓練成本，使單步模型的訓練更加高效。
感知損失和正則化：
- TV-LPIPS感知損失：結合總變差（TV）和LPIPS（Learned Perceptual Image Patch Similarity）損失，強調高頻成分的恢復，減少生成圖像中的偽影。
- 注意力多樣化損失（ADL）：通過降低變換器中不同token的相似性，增強注意力的多樣性，以消除高頻偽影。
高效推理：在推理階段僅依賴單個流模型，避免多步擴散模型的高計算開銷。基于FTD技術，在單步生成高質量的超分辨率圖像時，同時保持與多步模型相當的真實感。

FluxSR的項目地址

GitHub倉庫：https://github.com/JianzeLi-114/FluxSR
arXiv技術論文：https://arxiv.org/pdf/2502.01993

FluxSR的應用場景

老舊照片修復：將低分辨率、模糊或損壞的老照片還原為高分辨率、清晰的圖像。
影視制作：在影視后期制作中，將低分辨率素材提升為高分辨率，以滿足高清或4K制作的需求。
醫(yī)學影像增強：提升低分辨率醫(yī)學影像（如X光、CT、MRI）的分辨率，輔助醫(yī)生更準確地診斷疾病。
智能手機拍照：提升手機拍攝的低分辨率照片的清晰度，特別是在低光照或快速的場景下。
質量檢測：在工業(yè)生產中，提高生產線圖像檢測系統的分辨率，以幫助更準確地發(fā)現產品缺陷。

常見問題

FluxSR適用于哪些設備？：FluxSR可以在多種計算設備上運行，包括個人電腦和高性能服務器，適合不同的應用場景。
使用FluxSR需要哪些技術背景？：雖然FluxSR的使用相對簡單，但具備一定的機器學習和圖像處理基礎將有助于更好地理解和利用其功能。
FluxSR的輸出質量如何？：FluxSR在多個數據集上測試，生成的超分辨率圖像在無參考圖像質量評估指標上表現優(yōu)異，具有很高的真實感和細節(jié)。

閱讀原文