Fugatto：英偉達推出性多功能AI音頻生成模型，支持高質(zhì)量音頻合成與實時語音轉(zhuǎn)換

Fugatto是一款由英偉達（NVIDIA）推出的先進音頻合成與轉(zhuǎn)換模型，全稱為”Foundational Generative Audio Transformer Opus 1″。該模型具備根據(jù)文本提示生成音頻和視頻的能力，并能接收和修改現(xiàn)有音頻文件，展現(xiàn)出在音頻編輯和制作領(lǐng)域的巨大潛力。Fugatto能夠?qū)撉傩赊D(zhuǎn)化為人聲演唱，或改變錄音中的口音和情感表達，極大豐富了音頻創(chuàng)作的可能性。

Fugatto是什么

Fugatto是英偉達（NVIDIA）推出的一款音頻合成和轉(zhuǎn)換模型，其全名為“Foundational Generative Audio Transformer Opus 1”。該模型不僅可以根據(jù)文本提示生成音效和音樂，亦能接受并修改現(xiàn)有的音頻文件。Fugatto的設(shè)計通過增強型Transformer模型架構(gòu)實現(xiàn)，采用了自適應(yīng)層歸一化等特定技術(shù)，支持復(fù)雜的組合指令，在音頻編輯和制作領(lǐng)域具有極高的實用價值。

Fugatto的主要功能

• 音頻生成與轉(zhuǎn)換：根據(jù)文本描述，F(xiàn)ugatto可以生成多種音效和音樂，例如將鋼琴演奏轉(zhuǎn)化為人聲演唱，或是改變錄音的口音和情感。
• 多任務(wù)學(xué)習(xí)：該模型支持多種音頻生成與轉(zhuǎn)換任務(wù)，包括音樂創(chuàng)作、聲音效果設(shè)計和語音合成等。
• 精細的藝術(shù)控制：通過引入ComposableART技術(shù)，用戶可以組合多個指令，精準(zhǔn)控制聲音屬性，調(diào)整音樂的節(jié)奏和音色，或改變語音的情感與口音。
• 動態(tài)音頻生成：Fugatto能夠生成隨時間變化的聲音景觀，用戶可以操控聲音的變化軌跡，使音頻內(nèi)容更加豐富生動。
• 多語言和口音支持：該模型具備強大的多語言和口音能力，能夠生成多種語言的語音內(nèi)容，支持多種口音和方言，增強音頻創(chuàng)作的真實性。
• 音景創(chuàng)作：Fugatto能夠為電影和音頻制作創(chuàng)建身臨其境的音景，模擬自然現(xiàn)象的聲音，如雷雨聲與鳥鳴聲的結(jié)合，為用戶提供豐富的聽覺體驗。
• 語音樣本生成：模型可以生成新的語音樣本，改變交付的語氣和風(fēng)格，為每次播放帶來獨特的感覺。

Fugatto的技術(shù)原理

• 深度神經(jīng)網(wǎng)絡(luò)：Fugatto基于深度神經(jīng)網(wǎng)絡(luò)，經(jīng)過優(yōu)化后能夠理解文本，將描述轉(zhuǎn)化為聲音，并根據(jù)用戶的特定需求調(diào)整輸出。
• 大型語言模型 (LLM)：通過運用大型語言模型，F(xiàn)ugatto增強了指令生成的能力，更好地理解音頻與文本提示之間的關(guān)系。
• 數(shù)據(jù)生成方法：Fugatto采用創(chuàng)新的數(shù)據(jù)生成方法，突破了傳統(tǒng)的監(jiān)督學(xué)習(xí)，專門生成各種音頻和轉(zhuǎn)換任務(wù)的數(shù)據(jù)集。
• 可組合音頻表示轉(zhuǎn)換 (ComposableART)：該技術(shù)使Fugatto在推理過程中能夠組合訓(xùn)練期間只能單獨使用的指令。
• 時間插值：Fugatto能夠生成隨時間變化的聲音，NVIDIA稱之為時間插值，能夠模擬暴雨穿越區(qū)域的聲音，雷聲逐漸增強再慢慢消失。
• 生成新奇聲音：與大多數(shù)只能重現(xiàn)訓(xùn)練數(shù)據(jù)的模型不同，F(xiàn)ugatto支持用戶創(chuàng)造以前未曾見過的音景。
• Transformer模型的特定修改：Fugatto的架構(gòu)基于經(jīng)過特定修改（如自適應(yīng)層歸一化）的增強型Transformer模型，更好地支持不同輸入之間的一致性及作曲指令。

Fugatto的項目地址

• Github倉庫：https://github.com/fugatto/fugatto.github.io/blob/main/index.md
• 技術(shù)論文：https://d1qx31qr3h6wln.cloudfront.net/publications/FUGATTO.pdf

Fugatto的應(yīng)用場景

• 音樂創(chuàng)作：Fugatto是音樂創(chuàng)作者的理想工具，能夠幫助他們快速生成所需的音樂內(nèi)容。
• 聲音設(shè)計：在電影、游戲等多媒體制作中，F(xiàn)ugatto為聲音設(shè)計師提供豐富的音效素材和創(chuàng)意靈感，包括自然環(huán)境聲、機械聲或特殊效果聲。
• 語音合成與轉(zhuǎn)換：Fugatto支持文本到語音的轉(zhuǎn)換，能夠生成多種語言和口音的語音內(nèi)容，實現(xiàn)語音風(fēng)格的轉(zhuǎn)換，如口音或情感狀態(tài)的變化。
• 廣告音頻制作：廣告代理商可以使用Fugatto快速調(diào)整廣告內(nèi)容的口音和情感，以適應(yīng)不同地區(qū)或情境的需求。
• 視頻游戲音頻：游戲開發(fā)人員可以利用Fugatto修改游戲中預(yù)錄的音頻素材，或根據(jù)文本說明和可選的音頻輸入動態(tài)創(chuàng)建新的音頻素材。