Sketch2Sound

Sketch2Sound – Adobe 聯合西北大學推出的AI音頻生成技術

Sketch2Sound是什么

Sketch2Sound是一項由Adobe研究院與西北大學合作推出的先進AI音頻生成技術。該技術能夠根據聲音模仿和文本提示生成高質量的音效。Sketch2Sound通過從聲音模仿中提取響度、亮度和音高這三個關鍵控制信號，并將這些信號編碼后應用于條件文本到聲音的生成系統。它具有輕量化的特點，僅需經過少量的微調和一層線性適配，即可在多種文本到音頻模型上高效實施。Sketch2Sound為聲音設計師提供了結合文本提示的語義靈活性與聲音模仿的精準性，極大地提升了聲音創作的表現力和可控性。

Sketch2Sound的主要功能

• 聲音模仿與文本提示的結合： Sketch2Sound能夠理解聲音模仿（如口頭仿聲）和文本提示，從而生成與兩者相符的高品質音效。
• 提取控制信號： 從輸入的聲音模仿中提取三個重要的控制信號：響度、亮度和音高概率。
• 生成任意聲音： 利用提取的控制信號和文本提示，合成任意聲音，既可以模仿特定的聲音，也可以創造新的聲音效果。
• 輕量級實現： 該技術能夠在任何文本到音頻的潛在擴散變換器上運行，僅需40,000步的微調和每個控制信號一個單獨的線性層。

Sketch2Sound的技術原理

• 控制信號提取： 采用音頻信號處理技術，從輸入的聲音模仿中提取響度、亮度和音高概率。
• 潛在擴散模型： 基于預訓練的文本到聲音潛在擴散變換器（DiT），該模型結合變分自編碼器（VAE）和變換器解碼器，將音頻壓縮為連續向量序列，并生成新的潛在向量序列以合成音頻。
• 條件生成： 在潛在擴散模型中添加線性投影層，將控制信號直接整合到模型的噪聲潛在變量中，實現模型的條件化。
• 微調與適配： 對預訓練的文本到音頻模型進行微調，使其能夠處理時間變化的控制信號，實現自監督微調。
• 推理時控制： 在推理階段，用戶可以選擇不同大小的中值濾波器，以調整控制信號的時間細節，從而在聲音模仿的精確性與生成音頻的質量之間取得平衡。
• 語義靈活性與表達性： 結合文本提示的語義靈活性以及聲音模仿的表達性，為用戶提供了一種自然、直觀的聲音創作方式。

Sketch2Sound的項目地址

• 項目官網：hugofloresgarcia.art/sketch2sound
• arXiv技術論文：https://arxiv.org/pdf/2412.08550

Sketch2Sound的應用場景

• 電影與視頻制作： 在電影和視頻的后期制作中，生成與畫面同步的音效，例如模擬特定環境的聲音效果（如森林、城市、戰場等）。
• 游戲開發： 為電子游戲設計真實的音效及環境音，增強游戲的沉浸感與互動性。
• 音樂制作： 音樂制作人能夠創作新的音樂元素或模擬特定樂器的聲音。
• 聲音設計教育： 在聲音設計教學中，作為工具幫助學生理解聲音的構成及操控聲音的基本方法。
• 互動媒體及裝置藝術： 在互動藝術項目中，根據觀眾的行為或輸入生成相應的聲音反饋。

常見問題

• Sketch2Sound的使用是否復雜？ 該技術采用輕量化設計，用戶只需進行少量的微調即可在多種模型上使用，非常適合聲音設計師。
• 生成的音效質量如何？ Sketch2Sound能夠生成高品質的音效，結合聲音模仿與文本提示，確保音效的準確性和表現力。
• 是否有支持的應用案例？ 是的，Sketch2Sound廣泛應用于電影制作、游戲開發、音樂創作等多個領域，展現出良好的實用性。