Meta 開源的圖像生成框架，精確控制人物的外觀和姿勢

產品名稱：Leffa
產品簡介：Leffa（Learning Flow Fields in Attention）是 Meta AI推出的用在可控人物圖像生成框架，基于在注意力機制中引入流場學習，精確控制人物的外觀和姿勢。Leffa基于正則化損失函數，指導模型在訓練時讓目標查詢聚焦于參考圖像中的正確區域，減少細節失真，提升圖像質量。
詳細介紹：

Leffa是什么

Leffa（Learning Flow Fields in Attention）是 Meta AI推出的用在可控人物圖像生成框架，基于在注意力機制中引入流場學習，精確控制人物的外觀和姿勢。Leffa基于正則化損失函數，指導模型在訓練時讓目標查詢聚焦于參考圖像中的正確區域，減少細節失真，提升圖像質量。Leffa不增加額外參數和推理成本，且適用于多種擴散模型，展現了良好的模型無關性和泛化能力。

Leffa的主要功能

• 外觀控制（虛擬試穿）：根據參考圖像（如服裝圖片）生成穿著該服裝的人物圖像，保持人物原有特征不變。
• 姿勢控制（姿勢轉移）：L將一個人物的姿勢從一個圖像轉移到另一個圖像，保持人物的外觀細節。
• 細節保留：減少生成圖像中的細節失真，如紋理、文字和標志等。
• 質量維持：在控制細節的同時，保持生成圖像的整體高質量。

Leffa的技術原理

• 注意力機制：基于注意力機制，用注意力層將目標圖像（待生成的人物圖像）與參考圖像（提供外觀或姿勢的圖像）關聯起來。
• 流場學習：基于學習注意力層中的流場（flow fields），顯式指導目標查詢（target query）關注于參考鍵（reference key）的正確區域。
• 正則化損失：在注意力圖上施加正則化損失，將參考圖像變形以更緊密地與目標圖像對齊，鼓勵模型在訓練期間正確關注參考區域。
• 空間一致性：基于轉換注意力圖到流場，用網格采樣操作將參考圖像變形，確保目標查詢與參考圖像之間的空間一致性。
• 模型無關性：作為正則化損失函數，集成到不同的擴散模型中，無需額外參數或復雜的訓練技術。
• 漸進式訓練：在訓練的最后階段應用，避免早期性能退化，基于結合傳統的擴散損失和Leffa損失進行微調，優化模型性能。

Leffa的項目地址

• GitHub倉庫：https://github.com/franciszzj/Leffa
• HuggingFace模型庫：https://huggingface.co/franciszzj/Leffa
• arXiv技術論文：https://arxiv.org/pdf/2412.08486
• 在線體驗Demo：https://huggingface.co/spaces/franciszzj/Leffa

Leffa的應用場景

• 虛擬試穿：在電子商務和時尚行業中，創建虛擬試衣間，讓消費者在線上看到自己穿上不同服裝的樣子，無需實際試穿。
• 增強現實（AR）：在AR應用中，實時改變或添加用戶的外觀和服裝，提供更加沉浸式的體驗。
• 游戲和娛樂：在游戲開發中，用在角色定制，玩家根據自己的喜好調整角色的外觀和姿態。
• 電影和視頻制作：在電影后期制作中，生成或修改人物形象，比如改變演員的服裝或姿態，無需重新拍攝。
• 個性化廣告：在廣告行業中，生成個性化的廣告圖像，根據目標受眾的特征定制模特的形象。