Inpaint Anything

Inpaint Anything官網

Inpaint Anything，sd一鍵實現物體移除，內容填補，場景替換，Stable Diffusion插件
網站服務：Inpaint Anything，別摸魚導航。

Inpaint Anything官網，sd一鍵實現物體移除，內容填補，場景替換，Stable Diffusion插件

Inpaint Anything簡介

Inpaint Anything是一個結合了SAMQ、圖像修補模型（例如 LaMa)和 AIGC 模型（例如 Stable Diffusion)等視覺基礎模型的AI圖像替換，修補系統。基于此系統，用戶可以方便的使用IA進行圖像替換，處理具有任意長寬比和2K高清分辨率的圖像，且不受圖像原始內容限制，并且使用方便。
Inpaint Anything官網: https://github.com/Uminosachi/sd-webui-inpaint-anything

Inpaint Anything核心思想
Inpaint Anything背后的核心思想是結合不同模型的優勢，以建立一個功能強大且用戶友好的 圖像修復Q 系統。
一、Inpaint Anything:一鍵實現物體移除、內容填補、場景替換
IMCL實驗室基于Meta發布的圖像分割基礎模型SAM (Segment Anything Model)，提出了修補一切模型(Inpaint Anything，簡稱IA) ，
具有功能：
1.移除一切（Remove Anything）：點擊一下想要移除的物體，IA 將無痕地移除該物體；
2.填補一切(Fill Anything) :可以進一步通過文本提示告訴IA想要在物體內填充什么， IA隨即通過驅動已嵌入的stable diffusion模型生成相應的內容填充物體，實現隨心「內容創作」;
3替換一切(Replace Anything) :可以通過點擊選擇需要保留的物體對象，并用文本提示告訴IA想要把物體的背景替換成什么，即可將物體背景替換為指定內容，實現生動「環境轉換」。
整體框架：

Inpaint Anything主要功能

Inpaint Anything擁有三個主要功能
1、移除一切(Remove Anything) ：用戶只需點擊一下想要移除的物體，IA 將無痕地移除該物體，實現高效「魔法消除」;
2、填補一切(Fill Anything) ：同時，用戶還可以進一步通過文本提示（Text Prompt)告訴 IA 想要在物體內填充什么， IA 隨即通過驅動 已嵌入的 AIGC (Al-Generated Content)模型（如 Stable Diffusion)生成相應的內容填充物體，實現隨心「內容創作」;
3、替換一切(Replace Anything) :用戶也可以通過點擊選擇需要保留的物體對象，并用文本提示告訴IA想要把物體的背景替換成什么，即可將物體背景替換為指定內容，實現生動「環境轉換」。
4、移除3D材質物品(Remove Anything 3D)

修復任何內容以實現穩定的擴散 Web UI
Inpaint Anything 擴展使用從Segment Anything的輸出中選擇的任何蒙版在瀏覽器 UI 上執行穩定的擴散修復。
使用 Segment Anything，用戶可以通過簡單地指向所需區域來指定蒙版，而不是手動填充它們。這可以提高蒙版創建過程的效率和準確性，從而可能獲得更高質量的修復結果，同時節省時間和精力。

Inpaint Anything工作原理

Inpaint Anything結合了 SAM、圖像修補模型（例如 LaMa）和 AIGC 模型（例如 Stable Diffusion）等視覺基礎模型。

• SAM（Segment Anything Model）可以通過點或框等輸入提示生成高質量的對象分割區域，實現指定目標的分割。更多相關的介紹可以參考一鍵分割圖像。
• 圖像修補模型LaMa，則能夠在高分辨率圖像的情況下，隨意刪除圖像中的各種元素。模型的主要架構如下圖所示。包含一個mask的黑白圖，一張原始圖像。將掩碼圖覆蓋圖像后輸入Inpainting網絡中，先是降采樣到低分辨率，再經過幾個快速傅里葉卷積FFC殘差塊，最后輸出上采樣，生成了一張高分辨的修復圖像。

• AIGC模型Stable Diffusion，則只要簡單的輸入一段文本，Stable Diffusion 就可以迅速將其轉換為圖像。更多相關的介紹可以參考AI作畫。

將三個模型結合到一起，我們可以做出很多的功能。本文就實現了在圖片/視頻中移除一切物體、在圖片中填充一切物體和在圖片中替換一切背景這三種功能，其具體實現步驟如下：

單機版

安裝

要安裝該軟件，請按照下列步驟操作：

• 打開ExtensionsAUTOMATIC1111 的穩定擴散 Web UI上的選項卡。
• 選擇該Install from URL選項。
• https://github.com/Uminosachi/sd-webui-inpaint-anything.git在字段中輸入URL for extension's git repository。
• 單擊按鈕Install。
• 安裝完成后，重新啟動 Web UI。
• 注意：此擴展支持 AUTOMATIC1111 的穩定擴散 Web UI v1.3.0 或更高版本。

運行應用程序

• 如果您打算使用內存高效的 xformers，請將參數附加--xformers到您的啟動命令中。例如，運行./webui.sh --xformers或webui.bat --xformers
• 注意：如果您在網絡瀏覽器中啟用了隱私保護擴展程序（例如 DuckDuckGo），您可能無法從草圖中檢索蒙版。
• 注意：在 Gradio 版本 3.23.0 或更早版本中，分割圖像在 Web UI 上可能會顯得很小。

下載模型

• 導航到Inpaint AnythingWeb UI 中的選項卡。
• 單擊“Segment Anything Model ID”Download model旁邊的按鈕。這包括Segment Anything in High Quality Model ID、Fast Segment Anything和Faster Segment Anything (MobileSAM)。
  • 請注意，SAM 提供三種尺寸：基本型、大型型和巨型型。請記住，較大的尺寸會消耗更多的 VRAM。
• 等待下載完成。
• 下載的模型文件將存儲在models該應用程序存儲庫的目錄中。

用法

• 將圖像拖放到輸入圖像區域。
  • 可以通過Padding options配置比例和平衡，然后單擊Run Padding按鈕來實現繪制。
  • 該Anime Style復選框增強了分割蒙版檢測，特別是在動漫風格的圖像中，但代價是蒙版質量略有下降。
• 單擊按鈕Run Segment Anything。
• 使用草圖來指出要修復的區域。您可以撤消和調整筆大小。
  • 將鼠標懸停在 SAM 圖像或遮罩圖像上，然后按S全屏模式鍵或R重置縮放鍵。
• 單擊按鈕Create mask。蒙版將出現在選定的蒙版圖像區域中。

面罩調整

• Expand mask region按鈕：使用此按鈕可以稍微擴大遮罩的區域以獲得更廣泛的覆蓋范圍。
• Trim mask by sketch按鈕：單擊此按鈕將從蒙版中排除草繪區域。
• Add mask by sketch按鈕：單擊此按鈕會將草繪區域添加到蒙版中。

修復選項卡

• 輸入所需的提示和否定提示，然后選擇修復模型 ID。
• 單擊按鈕Run Inpainting（請注意，第一次下載模型可能需要一些時間）。
  • 在“高級”選項中，您可以調整采樣器、采樣步驟、指導比例和種子。
  • 如果啟用該Mask area Only選項，修改將僅限于指定的遮罩區域。
• 調整迭代滑塊以使用不同的種子多次執行修復。
• 修復過程由擴散器提供動力。

尖端

• 您可以直接將修復后的圖像拖放到 Web UI 上的輸入圖像字段中。（適用于 Chrome 和 Edge 瀏覽器）
• 要加載保存在 PNG 文件中的提示，請按照下列步驟操作：
  • 將圖像拖放到 Web UI 上的“PNG 信息”選項卡中，然后單擊Send to txt2img (or img2img)。
  • 導航至“修復任何內容”選項卡中的“修復”部分，然后單擊 按鈕Get prompt from: txt2img (or img2img)。

模型緩存

• 修復模型保存在 HuggingFace 的緩存中，并inpaint在其 repo_id 中包含（不區分大小寫），也將添加到修復模型 ID 下拉列表中。
  • 如果您想使用特定模型，可以使用以下 Python 命令（對于 Linux 和 MacOS 為 venv/bin/python）提前緩存它：

venv\Scripts\python.exe

Inpaint Anything網址入口

https://github.com/Uminosachi/sd-webui-inpaint-anything

OpenI小編發現Inpaint Anything網站非常受用戶歡迎，請訪問Inpaint Anything網址入口試用。