Ingredients – 多ID照片定制視頻生成框架，基于多ID照片與視頻擴散相結合

XX是什么

Ingredients是一個創新的框架，結合了多種特定身份（ID）照片與視頻擴散Transformer技術，旨在實現個性化視頻創作。該框架通過三個核心模塊的協同作用，提供高度定制化的視頻生成體驗：面部特征提取器、多尺度特征投影器和身份路由器。面部特征提取器從全局和局部角度捕捉每個身份的面部特征；多尺度特征投影器將這些特征嵌入到視頻擴散模型的上下文中；身份路由器則負責在視頻生成過程中動態分配和組合不同身份的特征，確保在不同時間和空間區域內的準確表現。Ingredients通過精心設計的多階段訓練機制，能夠在無需提示限制的情況下，生成具有高度身份保真度和內容靈活性的視頻。

主要功能

• 身份一致性維護：在生成的視頻中，確保多張參考圖像中的人物身份保持一致。
• 內容靈活控制：用戶可以通過文本提示精確調整視頻內容。
• 高質量視頻生成：制作出視覺質量高、過渡自然的視頻內容。
• 無需訓練定制化：無需對每個新身份進行模型訓練或微調，實現個性化視頻生成。

產品官網

• GitHub倉庫：https://github.com/feizc/Ingredients
• HuggingFace模型庫：https://huggingface.co/feizhengcong/Ingredients
• arXiv技術論文：https://arxiv.org/pdf/2501.01790

應用場景

• 娛樂創作：為虛擬偶像制作多場景音樂視頻，確保其面部特征和風格的一致性，增強與粉絲的互動。
• 廣告行業：為時尚品牌定制多種風格的廣告，展示目標受眾在不同場景中的時尚造型，提高品牌吸引力。
• 教育教學：在語言學習應用中，創建國際會議場景視頻，幫助學習者觀察不同國家代表的交流，提升商務英語和跨文化溝通能力。
• 社交媒體：用戶可制作家族歷史視頻，通過老照片和口述故事，展示家族成員在不同年代的生活場景，引發共鳴并分享至社交媒體。
• 虛擬現實：在虛擬現實旅游應用中，生成用戶與虛擬導游共同游覽景點的視頻，導游詳細介紹景點的歷史和文化，增強旅游體驗的真實感。

常見問題

• Ingredients能支持多少種身份生成？：Ingredients可以同時處理多個身份的生成，具體數量取決于計算資源和視頻復雜性。
• 生成視頻的質量如何保證？：通過高質量的面部特征提取和多尺度特征融合，Ingredients能夠生成視覺效果良好且過渡自然的視頻。
• 使用Ingredients需要專業知識嗎？：不需要，Ingredients提供用戶友好的界面，允許用戶通過簡單的文本提示進行視頻內容控制。