SUPIR是一種創新的圖像修復和畫質提升技術，采用了先進的生成模型StableDiffusion-XL（SDXL）和模型擴展方法，通過深度學習和多模態技術，實現對低質量圖像的高效恢復。它支持用戶通過文本提示對修復過程進行精細控制，能夠根據需求調整圖像的紋理和場景內容。

SUPIR是什么

SUPIR（Scaling-UP Image Restoration）是一項前沿的圖像修復及畫質提升解決方案，利用大規模的生成模型StableDiffusion-XL（SDXL）以及模型擴展技術，結合深度學習和多模態方法，將低質量圖像恢復至高質量的狀態。該技術允許用戶通過文本提示進行精確的圖像恢復控制，可以根據用戶的需求調整圖像的細節，如物體的紋理和場景的語義內容。SUPIR的開發團隊包括來自中國科學院深圳先進技術研究院、上海AI實驗室、悉尼大學、香港理工大學、騰訊ARC實驗室和香港中文大學的專家。

SUPIR的官網入口

• 官方項目主頁：https://supir.xpixel.group/
• GitHub源碼庫：https://github.com/Fanghua-Yu/SUPIR
• arXiv研究論文：https://arxiv.org/abs/2401.13627

SUPIR的主要功能

• 高質量圖像修復：SUPIR可以將低質量圖像恢復到接近原始狀態的高質量版本，能夠處理因壓縮、噪聲、模糊等原因造成的圖像退化。
• 多種圖像修復支持：SUPIR能夠有效修復多種類型的退化圖像，包括風景、人臉、動物、游戲畫面、老電影及老照片，增強圖像細節，恢復清晰度與真實感，使圖像煥然一新。
• 文本提示引導：SUPIR允許用戶通過文本提示指導圖像修復，可以指定具體的恢復方面，如修復模糊的特定物體、改變物體的材質或根據語義需求調整恢復效果。
• 負質量提示：SUPIR通過負質量提示提升圖像感知質量，用戶可以告訴模型哪些特征是不希望出現的（如“油畫效果、卡通化、模糊、雜亂、低質量”等），從而提升圖像整體質量。

SUPIR的工作原理

1. 生成性先驗：SUPIR依托StableDiffusion-XL（SDXL）作為其生成性先驗，這是一個包含26億參數的預訓練圖像生成模型，負責指導圖像生成和恢復過程。
2. 數據集與文本注釋：研究團隊構建了包含2000萬張高分辨率、高質量圖像的數據集，并為每張圖像提供詳細的文字描述，以幫助模型更好地理解和恢復圖像。
3. 適配器設計：為了有效應用SDXL模型，研究人員開發并訓練了一個超過6億參數的適配器，該適配器識別低質量圖像中的內容，并在像素級別上精細調整生成過程。
   
4. 文本提示控制：SUPIR根據用戶提供的文本提示來指導圖像恢復，提示可以是關于圖像內容的具體描述或關于期望圖像質量的高級語義描述。
5. 負質量提示與訓練樣本：SUPIR通過引入負質量提示幫助模型理解不希望出現的圖像特征，研究者利用SDXL生成符合負質量提示的圖像，并將其納入訓練數據，以確保模型學習這些負質量概念。
6. 恢復引導采樣：為了防止生成過程現的圖像失真，SUPIR采用了一種新穎的恢復引導采樣方法，在擴散過程中選擇性地引導預測結果接近低質量圖像，以保持恢復的一致性。
7. 模型訓練與采樣設置：SUPIR在訓練過程中使用合成退化模型，并在64個Nvidia A6000 GPU上進行了為期10天的訓練，測試時能夠處理1024×1024像素的圖像。

SUPIR的應用場景

• 老照片修復：SUPIR可用于修復老化、損壞或褪色的老照片，重現其原始色彩和細節，幫助珍貴記憶得以保存與傳承。
• 模糊圖像增強：對于因手抖、對焦錯誤或模糊導致的照片，SUPIR能夠通過先進算法提升圖像清晰度，使模糊的圖像變得更加銳利。
• 噪點去除：在高ISO或低光照條件下拍攝的照片常常伴有噪點，SUPIR能有效地識別并去除這些噪點，同時保留重要的圖像細節。
• 色彩校正與增強：SUPIR能夠識別和修正色彩失真問題，如過度飽和或色彩偏差，使圖像的色彩更加真實生動。