寡姐帶貨國風Polo衫，馬斯克穿牛仔走紅毯！虛擬試衣新框架火了，只需兩張圖30秒即生成

AIGC動態歡迎閱讀

原標題：寡姐帶貨國風Polo衫，馬斯克穿牛仔走紅毯！虛擬試衣新框架火了，只需兩張圖30秒即生成
關鍵字：模型,模塊,方法,服裝,特征
文章來源：量子位
內容字數：0字

內容摘要：

種政 投稿自 凹非寺量子位 | 公眾號 QbitAI只需兩張圖像，不到30秒，就能讓馬斯克穿牛仔走紅毯~
或者讓寡姐帶貨國風Polo衫~
就是二次元換裝也不在話下。
來自中山大學、Pixocial等機構聯合發布輕量化模型架構CatVTON。他們是以Stable Diffusion v1.5 inpainitng為基礎模型。
來看看更多效果。
用擴散模型進行虛擬試衣CatVTON可以實現傳統平鋪服裝圖到人物的換裝。
不管是上衣、褲子、裙子，還是套裝，各種不同品類服裝都可以。
其形狀和紋理都能保持較高的一致性。
另外，CatVTON 還可以實現人物A到人物B的換裝。
無需顯式地指定類別，根據 Mask 的不同即可完成目標服裝的試穿，支持單獨的上衣、褲子、裙子或者全身多件服裝同時更換 。
既然如此，那又是如何實現的呢？
輕量化模型架構CatVTON 在功能上豐富多樣， 但其模型架構卻十分簡潔高效：
2個網絡模塊（VAE+UNet）
899.06M總參數量
< 8G推理顯存（輸出圖像 1024×768 ）
輕量化的架構來源于 CatVTON 對現有方法模塊冗余的觀察：
基于Warping的方法

原文鏈接：寡姐帶貨國風Polo衫，馬斯克穿牛仔走紅毯！虛擬試衣新框架火了，只需兩張圖30秒即生成

聯系作者

文章來源：量子位
作者微信：
作者簡介：