SeedFoley – 字節(jié)推出的端到端視頻音效生成模型

SeedFoley是一款由字節(jié)跳動(dòng)豆包大模型語音團(tuán)隊(duì)研發(fā)的端到端視頻音效生成系統(tǒng)，為視頻創(chuàng)作者提供智能化的音效生成解決方案。該模型通過結(jié)合時(shí)空視頻特征與擴(kuò)散生成模型，實(shí)現(xiàn)了音效與視頻內(nèi)容的高度同步。其獨(dú)特的視頻編碼器采用快慢特征組合，能夠提取視頻的時(shí)空信息，同時(shí)基于原始波形的音頻表征模型保留高頻細(xì)節(jié)，顯著提升音效的精致程度。

SeedFoley是什么

SeedFoley 是字節(jié)跳動(dòng)豆包大模型語音團(tuán)隊(duì)推出的一款端到端視頻音效生成模型，旨在為視頻創(chuàng)作提供智能音效服務(wù)。通過融合時(shí)空視頻特征與擴(kuò)散生成模型，該系統(tǒng)能夠?qū)崿F(xiàn)音效與視頻的精準(zhǔn)同步。模型采用了快速與慢速特征結(jié)合的視頻編碼器，提取視頻的時(shí)空特征，同時(shí)使用原始波形作為輸入的音頻表征模型，以保留高頻信息，提升音效的細(xì)膩程度。擴(kuò)散模型通過優(yōu)化概率路徑上的連續(xù)映射關(guān)系，有效減少推理步數(shù)，降低推理成本。SeedFoley能夠精準(zhǔn)提取視頻幀級(jí)的視覺信息，智能區(qū)分動(dòng)作音效與環(huán)境音效，支持多種視頻長(zhǎng)度，并在音效的準(zhǔn)確性、同步性和匹配度上表現(xiàn)卓越。

SeedFoley的主要功能

• 智能音效生成：SeedFoley能夠精準(zhǔn)提取視頻幀級(jí)的視覺信息，通過分析多幀畫面，識(shí)別視頻中的發(fā)聲主體和動(dòng)作場(chǎng)景，如節(jié)奏感強(qiáng)烈的音樂瞬間或電影中的緊張情節(jié)，營(yíng)造身臨其境的真實(shí)體驗(yàn)。
• 音效類型區(qū)分：系統(tǒng)能夠智能區(qū)分動(dòng)作音效與環(huán)境音效，顯著提升視頻的敘事性和情感傳遞效果。
• 多種視頻長(zhǎng)度支持：SeedFoley支持可變長(zhǎng)度的視頻輸入，在音效的準(zhǔn)確性、同步性和匹配度等方面均達(dá)到領(lǐng)先水平。

SeedFoley的技術(shù)原理

• 視頻編碼器：SeedFoley的視頻編碼器結(jié)合快慢特征提取技術(shù)，在高幀率下獲取局部信息，在低幀率下提取視頻語義信息。這一方法使得模型在低計(jì)算資源下實(shí)現(xiàn)8fps的幀級(jí)視頻特征提取，進(jìn)行精細(xì)的動(dòng)作定位。最后，通過Transformer結(jié)構(gòu)融合快慢特征，實(shí)現(xiàn)視頻時(shí)空特征的提取。
• 音頻表征模型：與傳統(tǒng)基于梅爾頻譜的VAE模型不同，SeedFoley使用原始波形作為輸入，編碼后得到一維表征。音頻采用32k的采樣率，確保高頻信息的保留。每秒音頻提取32個(gè)潛在表征，提升時(shí)序上的分辨率，增強(qiáng)音效的細(xì)膩程度。
• 擴(kuò)散模型：SeedFoley采用Diffusion Transformer框架，優(yōu)化概率路徑上的連續(xù)映射關(guān)系，實(shí)現(xiàn)從高斯噪聲分布到目標(biāo)音頻表征空間的概率匹配。與傳統(tǒng)擴(kuò)散模型依賴馬爾可夫鏈采樣不同，SeedFoley通過構(gòu)建連續(xù)變換路徑，有效減少推理步驟，降低推理成本。在訓(xùn)練過程中，將視頻特征與音頻語義標(biāo)簽分別編碼為隱空間向量，通過通道維度拼接與時(shí)間編碼及噪聲信號(hào)混合，形成聯(lián)合條件輸入，提升音效與視頻畫面在時(shí)序上的一致性。

如何使用SeedFoley

• 訪問即夢(mèng)平臺(tái)：前往即夢(mèng)的官方網(wǎng)站或使用即夢(mèng)應(yīng)用，注冊(cè)并登錄賬戶。
• 生成視頻：在即夢(mèng)平臺(tái)選擇視頻生成功能，根據(jù)需求生成視頻內(nèi)容。
• 選擇「AI音效」功能：生成視頻后，選擇「AI音效」功能，系統(tǒng)將自動(dòng)為您的視頻生成三個(gè)專業(yè)級(jí)音效方案。
• 預(yù)覽與選擇音效方案：預(yù)覽生成的音效方案，選擇最適合您視頻內(nèi)容的音效。
• 應(yīng)用音效：將選定的音效方案應(yīng)用到您的視頻中。
• 注意事項(xiàng)：
  • 視頻長(zhǎng)度：SeedFoley支持可變長(zhǎng)度的視頻輸入，但建議視頻長(zhǎng)度不要過長(zhǎng)，以確保生成效果。
  • 音效類型：系統(tǒng)智能區(qū)分動(dòng)作音效與環(huán)境音效，提升視頻的敘事性和情感傳遞效果。
  • 預(yù)覽效果：選擇音效方案時(shí)，建議仔細(xì)預(yù)覽每個(gè)方案的效果，以選擇最適合您視頻內(nèi)容的音效。

SeedFoley的應(yīng)用場(chǎng)景

• 生活Vlog：為個(gè)人Vlog添加真實(shí)的環(huán)境音效，如街頭的嘈雜聲、咖啡館的背景音樂等。
• 短片制作：為短片添加與情節(jié)匹配的動(dòng)作音效與環(huán)境音效，提高觀眾的沉浸感。
• 游戲制作：為游戲視頻加入真實(shí)的音效，如戰(zhàn)斗聲、環(huán)境聲等，提升游戲體驗(yàn)。
• 視頻后期制作：SeedFoley可以在視頻后期制作中快速生成與視頻內(nèi)容高度匹配的音效，節(jié)省時(shí)間與成本。
• 廣告視頻：為廣告視頻增添吸引人的音效，提高廣告的吸引力與傳播效果。
• 教育視頻：為教育視頻配上合適的音效，增強(qiáng)觀眾的學(xué)習(xí)興趣與注意力。