MegaTTS 3

MegaTTS 3 – 字節與浙江大學合作推出的零樣本語音合成系統

MegaTTS 3

MegaTTS 3是什么

MegaTTS 3是由字節跳動與浙江大合開發的零樣本文本到語音合成系統。該系統采用輕量級的擴散模型，參數量僅為0.45B，能夠高效地產生高質量的語音輸出。MegaTTS 3將語音細分為多個屬性，包括內容、音色和韻律等，分別進行建模，支持中文、英文及中英混合語音合成，具備卓越的語音克隆能力，幾秒鐘的音頻樣本即可精準模仿目標聲音。此外，系統還支持口音強度的調節等多種可控性功能，廣泛應用于語音合成、編輯和跨語言溝通等領域。

MegaTTS 3的主要功能

零樣本合成：無需目標發聲者的特定語音數據，僅需少量提示便可生成其語音，實現迅速的語音克隆。
多語言支持：兼容中文、英文及中英混合語音合成，滿足不同語言環境的需求。
高音質輸出：生成的語音自然流暢，清晰度高，與目標發聲者高度相似。
音色調控：可調節生成語音的音色，使其更接近目標發聲者或添加特定的音色效果。
韻律調整：支持對語音的韻律進行控制，包括語速和語調，使語音更具表現力。
口音強度調節：通過參數調節，能夠生成不同口音強度的語音，模擬多樣的語言風格。
快速克隆：僅需幾秒鐘的目標發聲者音頻樣本，便可快速生成其語音，實現高效的語音克隆。

MegaTTS 3的技術原理

輕量級擴散模型：MegaTTS 3使用輕量級的擴散模型（TTS Diffusion Transformer），參數量僅為0.45B，確保高效的同時生成高質量的語音。擴散模型通過逐步添加和去除噪聲來生成目標語音，其核心包括前向過程（添加噪聲）和反向過程（去噪），反向過程用于生成數據樣本。
語音分解與建模：該系統將語音細分為內容、音色、韻律和相位等屬性，為每個屬性設計適宜的建模模塊：
- 音色建模：采用全局向量（global vectors）來建模音色，因為音色是隨時間緩慢變化的全局屬性。
- 韻律建模：利用基于潛在碼的語言模型（latent code language model）來擬合韻律的分布，能夠捕捉局部和長距離的依賴關系。
- 內容建模：使用基于VQGAN的聲學模型生成語譜圖。
- 相位建模：相位由基于GAN的聲碼器適當構建，無需語言模型對相位進行建模。
數據與訓練：MegaTTS 3在一個大規模的多領域數據集上進行訓練，包含20K小時的語音數據，確保模型在零樣本語音合成、語音編輯和跨語言語音合成任務上的優異表現。
稀疏對齊算法：該系統引入稀疏對齊算法，提供稀疏對齊邊界以引導潛在擴散變換器（DiT），在不縮小搜索空間的情況下降低對齊難度，實現高自然度的語音生成。