Inpaint Anything
Inpaint Anything官網(wǎng)入口網(wǎng)址,Inpaint Anything,sd一鍵實現(xiàn)物體移除,內(nèi)容填補,場景替換,Stable Diffusion插件
標簽:ai工具導(dǎo)航 Stable Diffusion插件AI工具導(dǎo)航 Inpaint Anything Stable Diffusion插件 別摸魚導(dǎo)航Inpaint Anything官網(wǎng)
Inpaint Anything,sd一鍵實現(xiàn)物體移除,內(nèi)容填補,場景替換,Stable Diffusion插件
網(wǎng)站服務(wù):Inpaint Anything,別摸魚導(dǎo)航。
Inpaint Anything官網(wǎng),sd一鍵實現(xiàn)物體移除,內(nèi)容填補,場景替換,Stable Diffusion插件
Inpaint Anything簡介
Inpaint Anything是一個結(jié)合了SAMQ、圖像修補模型(例如 LaMa)和 AIGC 模型(例如 Stable Diffusion)等視覺基礎(chǔ)模型的AI圖像替換,修補系統(tǒng)。基于此系統(tǒng),用戶可以方便的使用IA進行圖像替換,處理具有任意長寬比和2K高清分辨率的圖像,且不受圖像原始內(nèi)容限制,并且使用方便。
Inpaint Anything官網(wǎng): https://github.com/Uminosachi/sd-webui-inpaint-anything
Inpaint Anything核心思想
Inpaint Anything背后的核心思想是結(jié)合不同模型的優(yōu)勢,以建立一個功能強大且用戶友好的 圖像修復(fù)Q 系統(tǒng)。
一、Inpaint Anything:一鍵實現(xiàn)物體移除、內(nèi)容填補、場景替換
IMCL實驗室基于Meta發(fā)布的圖像分割基礎(chǔ)模型SAM (Segment Anything Model),提出了修補一切模型(Inpaint Anything,簡稱IA) ,
具有功能:
1.移除一切(Remove Anything):點擊一下想要移除的物體,IA 將無痕地移除該物體;
2.填補一切(Fill Anything) :可以進一步通過文本提示告訴IA想要在物體內(nèi)填充什么, IA隨即通過驅(qū)動已嵌入的stable diffusion模型生成相應(yīng)的內(nèi)容填充物體,實現(xiàn)隨心「內(nèi)容創(chuàng)作」;
3替換一切(Replace Anything) :可以通過點擊選擇需要保留的物體對象,并用文本提示告訴IA想要把物體的背景替換成什么,即可將物體背景替換為指定內(nèi)容,實現(xiàn)生動「環(huán)境轉(zhuǎn)換」。
整體框架:
Inpaint Anything主要功能
Inpaint Anything擁有三個主要功能
1、移除一切(Remove Anything) :用戶只需點擊一下想要移除的物體,IA 將無痕地移除該物體,實現(xiàn)高效「魔法消除」;
2、填補一切(Fill Anything) :同時,用戶還可以進一步通過文本提示(Text Prompt)告訴 IA 想要在物體內(nèi)填充什么, IA 隨即通過驅(qū)動 已嵌入的 AIGC (Al-Generated Content)模型(如 Stable Diffusion)生成相應(yīng)的內(nèi)容填充物體,實現(xiàn)隨心「內(nèi)容創(chuàng)作」;
3、替換一切(Replace Anything) :用戶也可以通過點擊選擇需要保留的物體對象,并用文本提示告訴IA想要把物體的背景替換成什么,即可將物體背景替換為指定內(nèi)容,實現(xiàn)生動「環(huán)境轉(zhuǎn)換」。
4、移除3D材質(zhì)物品(Remove Anything 3D)
修復(fù)任何內(nèi)容以實現(xiàn)穩(wěn)定的擴散 Web UI
Inpaint Anything 擴展使用從Segment Anything的輸出中選擇的任何蒙版在瀏覽器 UI 上執(zhí)行穩(wěn)定的擴散修復(fù)。
使用 Segment Anything,用戶可以通過簡單地指向所需區(qū)域來指定蒙版,而不是手動填充它們。這可以提高蒙版創(chuàng)建過程的效率和準確性,從而可能獲得更高質(zhì)量的修復(fù)結(jié)果,同時節(jié)省時間和精力。
Inpaint Anything工作原理
Inpaint Anything結(jié)合了 SAM、圖像修補模型(例如 LaMa)和 AIGC 模型(例如 Stable Diffusion)等視覺基礎(chǔ)模型。
- SAM(Segment Anything Model)可以通過點或框等輸入提示生成高質(zhì)量的對象分割區(qū)域,實現(xiàn)指定目標的分割。更多相關(guān)的介紹可以參考一鍵分割圖像。
- 圖像修補模型LaMa,則能夠在高分辨率圖像的情況下,隨意刪除圖像中的各種元素。模型的主要架構(gòu)如下圖所示。包含一個mask的黑白圖,一張原始圖像。將掩碼圖覆蓋圖像后輸入Inpainting網(wǎng)絡(luò)中,先是降采樣到低分辨率,再經(jīng)過幾個快速傅里葉卷積FFC殘差塊,最后輸出上采樣,生成了一張高分辨的修復(fù)圖像。
- AIGC模型Stable Diffusion,則只要簡單的輸入一段文本,Stable Diffusion 就可以迅速將其轉(zhuǎn)換為圖像。更多相關(guān)的介紹可以參考AI作畫。
將三個模型結(jié)合到一起,我們可以做出很多的功能。本文就實現(xiàn)了在圖片/視頻中移除一切物體、在圖片中填充一切物體和在圖片中替換一切背景這三種功能,其具體實現(xiàn)步驟如下:
單機版
安裝
要安裝該軟件,請按照下列步驟操作:
- 打開
Extensions
AUTOMATIC1111 的穩(wěn)定擴散 Web UI上的選項卡。 - 選擇該
Install from URL
選項。 https://github.com/Uminosachi/sd-webui-inpaint-anything.git
在字段中輸入URL for extension's git repository
。- 單擊按鈕
Install
。 - 安裝完成后,重新啟動 Web UI。
- 注意:此擴展支持 AUTOMATIC1111 的穩(wěn)定擴散 Web UI v1.3.0 或更高版本。
運行應(yīng)用程序
- 如果您打算使用內(nèi)存高效的 xformers,請將參數(shù)附加
--xformers
到您的啟動命令中。例如,運行./webui.sh --xformers
或webui.bat --xformers
- 注意:如果您在網(wǎng)絡(luò)瀏覽器中啟用了隱私保護擴展程序(例如 DuckDuckGo),您可能無法從草圖中檢索蒙版。
- 注意:在 Gradio 版本 3.23.0 或更早版本中,分割圖像在 Web UI 上可能會顯得很小。
下載模型
- 導(dǎo)航到
Inpaint Anything
Web UI 中的選項卡。 - 單擊“Segment Anything Model ID”
Download model
旁邊的按鈕。這包括Segment Anything in High Quality Model ID、Fast Segment Anything和Faster Segment Anything (MobileSAM)。- 請注意,SAM 提供三種尺寸:基本型、大型型和巨型型。請記住,較大的尺寸會消耗更多的 VRAM。
- 等待下載完成。
- 下載的模型文件將存儲在
models
該應(yīng)用程序存儲庫的目錄中。
用法
- 將圖像拖放到輸入圖像區(qū)域。
- 可以通過
Padding options
配置比例和平衡,然后單擊Run Padding
按鈕來實現(xiàn)繪制。 - 該
Anime Style
復(fù)選框增強了分割蒙版檢測,特別是在動漫風(fēng)格的圖像中,但代價是蒙版質(zhì)量略有下降。
- 可以通過
- 單擊按鈕
Run Segment Anything
。 - 使用草圖來指出要修復(fù)的區(qū)域。您可以撤消和調(diào)整筆大小。
- 將鼠標懸停在 SAM 圖像或遮罩圖像上,然后按
S
全屏模式鍵或R
重置縮放鍵。
- 將鼠標懸停在 SAM 圖像或遮罩圖像上,然后按
- 單擊按鈕
Create mask
。蒙版將出現(xiàn)在選定的蒙版圖像區(qū)域中。
面罩調(diào)整
Expand mask region
按鈕:使用此按鈕可以稍微擴大遮罩的區(qū)域以獲得更廣泛的覆蓋范圍。Trim mask by sketch
按鈕:單擊此按鈕將從蒙版中排除草繪區(qū)域。Add mask by sketch
按鈕:單擊此按鈕會將草繪區(qū)域添加到蒙版中。
修復(fù)選項卡
- 輸入所需的提示和否定提示,然后選擇修復(fù)模型 ID。
- 單擊按鈕
Run Inpainting
(請注意,第一次下載模型可能需要一些時間)。- 在“高級”選項中,您可以調(diào)整采樣器、采樣步驟、指導(dǎo)比例和種子。
- 如果啟用該
Mask area Only
選項,修改將僅限于指定的遮罩區(qū)域。
- 調(diào)整迭代滑塊以使用不同的種子多次執(zhí)行修復(fù)。
- 修復(fù)過程由擴散器提供動力。
尖端
- 您可以直接將修復(fù)后的圖像拖放到 Web UI 上的輸入圖像字段中。(適用于 Chrome 和 Edge 瀏覽器)
- 要加載保存在 PNG 文件中的提示,請按照下列步驟操作:
- 將圖像拖放到 Web UI 上的“PNG 信息”選項卡中,然后單擊
Send to txt2img (or img2img)
。 - 導(dǎo)航至“修復(fù)任何內(nèi)容”選項卡中的“修復(fù)”部分,然后單擊 按鈕
Get prompt from: txt2img (or img2img)
。
- 將圖像拖放到 Web UI 上的“PNG 信息”選項卡中,然后單擊
模型緩存
- 修復(fù)模型保存在 HuggingFace 的緩存中,并
inpaint
在其 repo_id 中包含(不區(qū)分大小寫),也將添加到修復(fù)模型 ID 下拉列表中。- 如果您想使用特定模型,可以使用以下 Python 命令(對于 Linux 和 MacOS 為 venv/bin/python)提前緩存它:
venv\Scripts\python.exe
Inpaint Anything網(wǎng)址入口
https://github.com/Uminosachi/sd-webui-inpaint-anything

OpenI小編發(fā)現(xiàn)Inpaint Anything網(wǎng)站非常受用戶歡迎,請訪問Inpaint Anything網(wǎng)址入口試用。
數(shù)據(jù)評估
本站OpenI提供的Inpaint Anything都來源于網(wǎng)絡(luò),不保證外部鏈接的準確性和完整性,同時,對于該外部鏈接的指向,不由OpenI實際控制,在2023年 10月 2日 上午10:19收錄時,該網(wǎng)頁上的內(nèi)容,都屬于合規(guī)合法,后期網(wǎng)頁的內(nèi)容如出現(xiàn)違規(guī),可以直接聯(lián)系網(wǎng)站管理員進行刪除,OpenI不承擔(dān)任何責(zé)任。