MaskGCT是一款由趣丸科技與香港中文大學(xué)（深圳）聯(lián)合開發(fā)的先進(jìn)語音合成大模型。該產(chǎn)品基于掩碼生成模型及語音表征解耦編碼技術(shù)，能夠在聲音克隆、跨語言合成和語音控制等多項(xiàng)任務(wù)中展現(xiàn)出卓越的性能。其在多個(gè)語音合成基準(zhǔn)數(shù)據(jù)集上達(dá)到了行業(yè)領(lǐng)先的水平，某些指標(biāo)更是超越了人類的表現(xiàn)。

MaskGCT是什么

MaskGCT是趣丸科技與香港中文大學(xué)（深圳）合作開發(fā)的一款前沿語音合成大模型。憑借掩碼生成模型和語音表征解耦編碼技術(shù)的支持，該模型在聲音克隆、跨語言合成和語音控制等領(lǐng)域取得了顯著成效。MaskGCT能夠迅速且真實(shí)地復(fù)刻多種音色，靈活調(diào)整語音的持續(xù)時(shí)間、速度與情感，支持中文、英文、日文、韓文、法文和德文等六種語言的合成。該模型已在Amphion系統(tǒng)中開源，面向全球用戶開放使用。

MaskGCT的主要功能

• 聲音克隆：能夠迅速復(fù)制任何音色，包括人類聲音和動漫角色，完整再現(xiàn)語調(diào)、風(fēng)格與情感。
• 跨語言合成：支持多種語言的語音生成，包括中文、英文、日文、韓文、法文和德文，實(shí)現(xiàn)無縫的跨語言輸出。
• 語音控制：可靈活調(diào)整生成語音的長度、速度和情感，通過編輯文本來控制語音內(nèi)容，同時(shí)保持韻律和音色的一致性。
• 高質(zhì)量語音數(shù)據(jù)集：基于高質(zhì)量的多語言語音數(shù)據(jù)集Emilia進(jìn)行訓(xùn)練，提供豐富的語音合成資源。

MaskGCT的技術(shù)原理

• 語音語義表示編解碼器：將語音轉(zhuǎn)換為語義標(biāo)記，利用VQ-VAE模型學(xué)習(xí)向量量化碼本，從自監(jiān)督學(xué)習(xí)模型中重建語音的語義表示。
• 語音聲學(xué)編解碼器：將語音波形量化為多層離散標(biāo)記，保留語音信息，并采用RVQ方法壓縮語音波形，使用Vocos架構(gòu)作為解碼器。
• 文本到語義模型：基于非自回歸掩碼生成Transformer，于文本到語音的對齊信息，通過語言模型的上下文學(xué)習(xí)能力預(yù)測語義標(biāo)記。
• 語義到聲學(xué)模型：同樣使用非自回歸掩碼生成Transformer，語義標(biāo)記作為條件生成多層聲學(xué)標(biāo)記序列，重建高質(zhì)量的語音波形。

MaskGCT的項(xiàng)目地址

• GitHub倉庫：https://github.com/open-mmlab/Amphion/tree/main/models/tts/maskgct
• HuggingFace模型庫：https://huggingface.co/amphion/MaskGCT
• arXiv技術(shù)論文：https://arxiv.org/pdf/2409.00750v2
• 公測版地址（趣丸千音）：https://voice.funnycp.com/

MaskGCT的應(yīng)用場景

• 有聲讀物和播客：利用MaskGCT生成的高質(zhì)量語音，為電子書、有聲讀物和播客節(jié)目提供自然動聽的朗讀聲，提升聽眾的聽覺體驗(yàn)。
• 智能助手和機(jī)器人：在智能設(shè)備及客服系統(tǒng)中，MaskGCT為用戶提供更加自然和個(gè)性化的語音交互體驗(yàn)。
• 視頻游戲和虛擬現(xiàn)實(shí)：在游戲及虛擬現(xiàn)實(shí)應(yīng)用中，MaskGCT為角色生成逼真的語音，增強(qiáng)用戶的沉浸感。
• 影視制作和配音：在影視后期制作中，MaskGCT能夠快速生成或替換角色的語音，提高制作效率。
• 語言學(xué)習(xí)和教育：MaskGCT可以生成標(biāo)準(zhǔn)或特定口音的語音，輔助語言學(xué)習(xí)者進(jìn)行發(fā)音和聽力的練習(xí)。

常見問題

• MaskGCT支持哪些語言？ MaskGCT支持中文、英文、日文、韓文、法文和德文六種語言的語音合成。
• 如何使用MaskGCT？ 用戶可以訪問公測版地址進(jìn)行試用，開發(fā)者也可通過GitHub倉庫獲取源代碼。
• MaskGCT的音質(zhì)如何？ MaskGCT在多個(gè)TTS基準(zhǔn)數(shù)據(jù)集上表現(xiàn)優(yōu)異，高質(zhì)量的語音合成效果甚至超過了人類。