Inpaint Anything

Inpaint Anything官網(wǎng)

Inpaint Anything，sd一鍵實(shí)現(xiàn)物體移除，內(nèi)容填補(bǔ)，場(chǎng)景替換，Stable Diffusion插件
網(wǎng)站服務(wù)：Inpaint Anything，別摸魚導(dǎo)航。

Inpaint Anything官網(wǎng)，sd一鍵實(shí)現(xiàn)物體移除，內(nèi)容填補(bǔ)，場(chǎng)景替換，Stable Diffusion插件

Inpaint Anything簡(jiǎn)介

Inpaint Anything是一個(gè)結(jié)合了SAMQ、圖像修補(bǔ)模型（例如 LaMa)和 AIGC 模型（例如 Stable Diffusion)等視覺基礎(chǔ)模型的AI圖像替換，修補(bǔ)系統(tǒng)。基于此系統(tǒng)，用戶可以方便的使用IA進(jìn)行圖像替換，處理具有任意長(zhǎng)寬比和2K高清分辨率的圖像，且不受圖像原始內(nèi)容限制，并且使用方便。
Inpaint Anything官網(wǎng): https://github.com/Uminosachi/sd-webui-inpaint-anything

Inpaint Anything核心思想
Inpaint Anything背后的核心思想是結(jié)合不同模型的優(yōu)勢(shì)，以建立一個(gè)功能強(qiáng)大且用戶友好的 圖像修復(fù)Q 系統(tǒng)。
一、Inpaint Anything:一鍵實(shí)現(xiàn)物體移除、內(nèi)容填補(bǔ)、場(chǎng)景替換
IMCL實(shí)驗(yàn)室基于Meta發(fā)布的圖像分割基礎(chǔ)模型SAM (Segment Anything Model)，提出了修補(bǔ)一切模型(Inpaint Anything，簡(jiǎn)稱IA) ，
具有功能：
1.移除一切（Remove Anything）：點(diǎn)擊一下想要移除的物體，IA 將無痕地移除該物體；
2.填補(bǔ)一切(Fill Anything) :可以進(jìn)一步通過文本提示告訴IA想要在物體內(nèi)填充什么， IA隨即通過驅(qū)動(dòng)已嵌入的stable diffusion模型生成相應(yīng)的內(nèi)容填充物體，實(shí)現(xiàn)隨心「內(nèi)容創(chuàng)作」;
3替換一切(Replace Anything) :可以通過點(diǎn)擊選擇需要保留的物體對(duì)象，并用文本提示告訴IA想要把物體的背景替換成什么，即可將物體背景替換為指定內(nèi)容，實(shí)現(xiàn)生動(dòng)「環(huán)境轉(zhuǎn)換」。
整體框架：

Inpaint Anything主要功能

Inpaint Anything擁有三個(gè)主要功能
1、移除一切(Remove Anything) ：用戶只需點(diǎn)擊一下想要移除的物體，IA 將無痕地移除該物體，實(shí)現(xiàn)高效「魔法消除」;
2、填補(bǔ)一切(Fill Anything) ：同時(shí)，用戶還可以進(jìn)一步通過文本提示（Text Prompt)告訴 IA 想要在物體內(nèi)填充什么， IA 隨即通過驅(qū)動(dòng) 已嵌入的 AIGC (Al-Generated Content)模型（如 Stable Diffusion)生成相應(yīng)的內(nèi)容填充物體，實(shí)現(xiàn)隨心「內(nèi)容創(chuàng)作」;
3、替換一切(Replace Anything) :用戶也可以通過點(diǎn)擊選擇需要保留的物體對(duì)象，并用文本提示告訴IA想要把物體的背景替換成什么，即可將物體背景替換為指定內(nèi)容，實(shí)現(xiàn)生動(dòng)「環(huán)境轉(zhuǎn)換」。
4、移除3D材質(zhì)物品(Remove Anything 3D)

修復(fù)任何內(nèi)容以實(shí)現(xiàn)穩(wěn)定的擴(kuò)散 Web UI
Inpaint Anything 擴(kuò)展使用從Segment Anything的輸出中選擇的任何蒙版在瀏覽器 UI 上執(zhí)行穩(wěn)定的擴(kuò)散修復(fù)。
使用 Segment Anything，用戶可以通過簡(jiǎn)單地指向所需區(qū)域來指定蒙版，而不是手動(dòng)填充它們。這可以提高蒙版創(chuàng)建過程的效率和準(zhǔn)確性，從而可能獲得更高質(zhì)量的修復(fù)結(jié)果，同時(shí)節(jié)省時(shí)間和精力。

Inpaint Anything工作原理

Inpaint Anything結(jié)合了 SAM、圖像修補(bǔ)模型（例如 LaMa）和 AIGC 模型（例如 Stable Diffusion）等視覺基礎(chǔ)模型。

• SAM（Segment Anything Model）可以通過點(diǎn)或框等輸入提示生成高質(zhì)量的對(duì)象分割區(qū)域，實(shí)現(xiàn)指定目標(biāo)的分割。更多相關(guān)的介紹可以參考一鍵分割圖像。
• 圖像修補(bǔ)模型LaMa，則能夠在高分辨率圖像的情況下，隨意刪除圖像中的各種元素。模型的主要架構(gòu)如下圖所示。包含一個(gè)mask的黑白圖，一張?jiān)紙D像。將掩碼圖覆蓋圖像后輸入Inpainting網(wǎng)絡(luò)中，先是降采樣到低分辨率，再經(jīng)過幾個(gè)快速傅里葉卷積FFC殘差塊，最后輸出上采樣，生成了一張高分辨的修復(fù)圖像。

• AIGC模型Stable Diffusion，則只要簡(jiǎn)單的輸入一段文本，Stable Diffusion 就可以迅速將其轉(zhuǎn)換為圖像。更多相關(guān)的介紹可以參考AI作畫。

將三個(gè)模型結(jié)合到一起，我們可以做出很多的功能。本文就實(shí)現(xiàn)了在圖片/視頻中移除一切物體、在圖片中填充一切物體和在圖片中替換一切背景這三種功能，其具體實(shí)現(xiàn)步驟如下：

單機(jī)版

安裝

要安裝該軟件，請(qǐng)按照下列步驟操作：

• 打開ExtensionsAUTOMATIC1111 的穩(wěn)定擴(kuò)散 Web UI上的選項(xiàng)卡。
• 選擇該Install from URL選項(xiàng)。
• https://github.com/Uminosachi/sd-webui-inpaint-anything.git在字段中輸入URL for extension's git repository。
• 單擊按鈕Install。
• 安裝完成后，重新啟動(dòng) Web UI。
• 注意：此擴(kuò)展支持 AUTOMATIC1111 的穩(wěn)定擴(kuò)散 Web UI v1.3.0 或更高版本。

運(yùn)行應(yīng)用程序

• 如果您打算使用內(nèi)存高效的 xformers，請(qǐng)將參數(shù)附加--xformers到您的啟動(dòng)命令中。例如，運(yùn)行./webui.sh --xformers或webui.bat --xformers
• 注意：如果您在網(wǎng)絡(luò)瀏覽器中啟用了隱私保護(hù)擴(kuò)展程序（例如 DuckDuckGo），您可能無法從草圖中檢索蒙版。
• 注意：在 Gradio 版本 3.23.0 或更早版本中，分割圖像在 Web UI 上可能會(huì)顯得很小。

下載模型

• 導(dǎo)航到Inpaint AnythingWeb UI 中的選項(xiàng)卡。
• 單擊“Segment Anything Model ID”Download model旁邊的按鈕。這包括Segment Anything in High Quality Model ID、Fast Segment Anything和Faster Segment Anything (MobileSAM)。
  • 請(qǐng)注意，SAM 提供三種尺寸：基本型、大型型和巨型型。請(qǐng)記住，較大的尺寸會(huì)消耗更多的 VRAM。
• 等待下載完成。
• 下載的模型文件將存儲(chǔ)在models該應(yīng)用程序存儲(chǔ)庫的目錄中。

用法

• 將圖像拖放到輸入圖像區(qū)域。
  • 可以通過Padding options配置比例和平衡，然后單擊Run Padding按鈕來實(shí)現(xiàn)繪制。
  • 該Anime Style復(fù)選框增強(qiáng)了分割蒙版檢測(cè)，特別是在動(dòng)漫風(fēng)格的圖像中，但代價(jià)是蒙版質(zhì)量略有下降。
• 單擊按鈕Run Segment Anything。
• 使用草圖來指出要修復(fù)的區(qū)域。您可以撤消和調(diào)整筆大小。
  • 將鼠標(biāo)懸停在 SAM 圖像或遮罩圖像上，然后按S全屏模式鍵或R重置縮放鍵。
• 單擊按鈕Create mask。蒙版將出現(xiàn)在選定的蒙版圖像區(qū)域中。

面罩調(diào)整

• Expand mask region按鈕：使用此按鈕可以稍微擴(kuò)大遮罩的區(qū)域以獲得更廣泛的覆蓋范圍。
• Trim mask by sketch按鈕：?jiǎn)螕舸税粹o將從蒙版中排除草繪區(qū)域。
• Add mask by sketch按鈕：?jiǎn)螕舸税粹o會(huì)將草繪區(qū)域添加到蒙版中。

修復(fù)選項(xiàng)卡

• 輸入所需的提示和否定提示，然后選擇修復(fù)模型 ID。
• 單擊按鈕Run Inpainting（請(qǐng)注意，第一次下載模型可能需要一些時(shí)間）。
  • 在“高級(jí)”選項(xiàng)中，您可以調(diào)整采樣器、采樣步驟、指導(dǎo)比例和種子。
  • 如果啟用該Mask area Only選項(xiàng)，修改將僅限于指定的遮罩區(qū)域。
• 調(diào)整迭代滑塊以使用不同的種子多次執(zhí)行修復(fù)。
• 修復(fù)過程由擴(kuò)散器提供動(dòng)力。

尖端

• 您可以直接將修復(fù)后的圖像拖放到 Web UI 上的輸入圖像字段中。（適用于 Chrome 和 Edge 瀏覽器）
• 要加載保存在 PNG 文件中的提示，請(qǐng)按照下列步驟操作：
  • 將圖像拖放到 Web UI 上的“PNG 信息”選項(xiàng)卡中，然后單擊Send to txt2img (or img2img)。
  • 導(dǎo)航至“修復(fù)任何內(nèi)容”選項(xiàng)卡中的“修復(fù)”部分，然后單擊 按鈕Get prompt from: txt2img (or img2img)。

模型緩存

• 修復(fù)模型保存在 HuggingFace 的緩存中，并inpaint在其 repo_id 中包含（不區(qū)分大小寫），也將添加到修復(fù)模型 ID 下拉列表中。
  • 如果您想使用特定模型，可以使用以下 Python 命令（對(duì)于 Linux 和 MacOS 為 venv/bin/python）提前緩存它：

venv\Scripts\python.exe

Inpaint Anything網(wǎng)址入口

https://github.com/Uminosachi/sd-webui-inpaint-anything

OpenI小編發(fā)現(xiàn)Inpaint Anything網(wǎng)站非常受用戶歡迎，請(qǐng)?jiān)L問Inpaint Anything網(wǎng)址入口試用。