MultiFoley是一款由Adobe Research和密歇根大合開發的音效生成系統，能夠通過多模態的文本、音頻和視頻輸入，生成高質量的Foley聲音效果。該系統允許用戶根據文本提示、參考音頻或部分視頻內容定制并生成與視頻內容完美同步的聲音，從而顯著提升視頻的觀看體驗。

MultiFoley是什么

MultiFoley是Adobe Research與密歇根大學共同推出的創新音效生成系統，旨在通過多模態控制生成Foley聲音效果。該系統使用戶可以根據文本提示、參考音頻或視頻片段，定制與視頻同步的聲音，從而增強視頻的整體體驗。MultiFoley通過聯合訓練互聯網視頻數據集與專業聲音效果錄音，能夠生成高質量、全頻帶（48kHz）的音頻，提供靈活的聲音設計功能，幫助用戶打造既清晰又富有創意的音效。

MultiFoley的主要功能

• 文本驅動的Foley生成：通過文本提示引導生成與視頻畫面同步的聲音效果，包括現實和創意聲音。
• 音頻驅動的Foley生成：允許用戶從聲音效果庫中選擇參考音頻，將其應用到無聲視頻中并與之同步。
• Foley音頻擴展：擴展部分音頻軌道，以生成完整的Foley聲音效果。
• 質量控制：通過在文本中添加質量標簽，確保生成高質量的全頻帶（48kHz）音頻。
• 多模態控制：綜合文本、音頻和視頻的條件信號，提供精細的聲音設計控制。

MultiFoley的技術原理

• 聯合訓練：基于互聯網視頻數據集（低質量音頻）和專業聲音效果錄音進行訓練，以生成高質量的全頻帶音頻。
• 擴散變換器（Diffusion Transformer）：利用擴散模型從隨機噪聲生成新樣本，適用于視頻引導的Foley聲音生成，并結合多模態控制。
• 高質量音頻自編碼器（DAC-VAE）：基于變分自編碼器（VAE），將48kHz的音頻波形編碼為40Hz的潛在特征，以實現音頻與視頻的同步。
• 凍結視頻編碼器：用于音頻與視頻同步，將視頻編碼為特征并與音頻潛在編碼結合使用。
• 多條件訓練策略：使模型靈活支持多種下游任務，如音頻擴展和文本驅動的聲音設計。
• 多頭注意力機制：提升模型的表達能力，并行學習不同類型的特征或依賴關系。

MultiFoley的項目地址

• 項目官網：ificl.github.io/MultiFoley
• arXiv技術論文：https://arxiv.org/pdf/2411.17698

MultiFoley的應用場景

• 電影和視頻制作：在電影制作中生成與畫面動作同步的聲音效果，如腳步聲、關門聲等，提升觀眾的沉浸感。
• 游戲開發：為不同的游戲場景和動作生成逼真的聲音，增強游戲體驗。
• 動畫制作：在動畫中，根據角色的動作生成相應的聲音，使動畫更加生動。
• 廣告制作：在廣告行業中，依據創意生成吸引注意的聲音效果，提高廣告的吸引力。
• 虛擬現實（VR）：在虛擬現實體驗中生成與虛擬環境同步的聲音，提升用戶的沉浸感和體驗質量。

常見問題

• MultiFoley支持哪些輸入格式？MultiFoley支持文本、音頻和視頻作為輸入，以便用戶靈活創建聲音效果。
• 生成的音頻質量如何？MultiFoley生成的音頻為高質量全頻帶（48kHz），確保聲音效果清晰悅耳。
• 我能否自定義生成的聲音？是的，用戶可以通過文本提示和參考音頻進行個性化定制，生成所需的聲音效果。
• MultiFoley適用于哪些領域？MultiFoley廣泛應用于電影、游戲、動畫、廣告和虛擬現實等多個領域。
• 如何訪問MultiFoley？用戶可以通過訪問項目官網了解更多信息和使用方法。