MaskGCT

MaskGCT是一款由趣丸科技與香港中文大學(xué)（深圳）聯(lián)合開(kāi)發(fā)的先進(jìn)語(yǔ)音合成大模型。該產(chǎn)品基于掩碼生成模型及語(yǔ)音表征解耦編碼技術(shù)，能夠在聲音克隆、跨語(yǔ)言合成和語(yǔ)音控制等多項(xiàng)任務(wù)中展現(xiàn)出卓越的性能。其在多個(gè)語(yǔ)音合成基準(zhǔn)數(shù)據(jù)集上達(dá)到了行業(yè)領(lǐng)先的水平，某些指標(biāo)更是超越了人類(lèi)的表現(xiàn)。

MaskGCT是什么

MaskGCT是趣丸科技與香港中文大學(xué)（深圳）合作開(kāi)發(fā)的一款前沿語(yǔ)音合成大模型。憑借掩碼生成模型和語(yǔ)音表征解耦編碼技術(shù)的支持，該模型在聲音克隆、跨語(yǔ)言合成和語(yǔ)音控制等領(lǐng)域取得了顯著成效。MaskGCT能夠迅速且真實(shí)地復(fù)刻多種音色，靈活調(diào)整語(yǔ)音的持續(xù)時(shí)間、速度與情感，支持中文、英文、日文、韓文、法文和德文等六種語(yǔ)言的合成。該模型已在Amphion系統(tǒng)中開(kāi)源，面向全球用戶開(kāi)放使用。

MaskGCT的主要功能

• 聲音克隆：能夠迅速?gòu)?fù)制任何音色，包括人類(lèi)聲音和動(dòng)漫角色，完整再現(xiàn)語(yǔ)調(diào)、風(fēng)格與情感。
• 跨語(yǔ)言合成：支持多種語(yǔ)言的語(yǔ)音生成，包括中文、英文、日文、韓文、法文和德文，實(shí)現(xiàn)無(wú)縫的跨語(yǔ)言輸出。
• 語(yǔ)音控制：可靈活調(diào)整生成語(yǔ)音的長(zhǎng)度、速度和情感，通過(guò)編輯文本來(lái)控制語(yǔ)音內(nèi)容，同時(shí)保持韻律和音色的一致性。
• 高質(zhì)量語(yǔ)音數(shù)據(jù)集：基于高質(zhì)量的多語(yǔ)言語(yǔ)音數(shù)據(jù)集Emilia進(jìn)行訓(xùn)練，提供豐富的語(yǔ)音合成資源。

MaskGCT的技術(shù)原理

• 語(yǔ)音語(yǔ)義表示編解碼器：將語(yǔ)音轉(zhuǎn)換為語(yǔ)義標(biāo)記，利用VQ-VAE模型學(xué)習(xí)向量量化碼本，從自監(jiān)督學(xué)習(xí)模型中重建語(yǔ)音的語(yǔ)義表示。
• 語(yǔ)音聲學(xué)編解碼器：將語(yǔ)音波形量化為多層離散標(biāo)記，保留語(yǔ)音信息，并采用RVQ方法壓縮語(yǔ)音波形，使用Vocos架構(gòu)作為解碼器。
• 文本到語(yǔ)義模型：基于非自回歸掩碼生成Transformer，于文本到語(yǔ)音的對(duì)齊信息，通過(guò)語(yǔ)言模型的上下文學(xué)習(xí)能力預(yù)測(cè)語(yǔ)義標(biāo)記。
• 語(yǔ)義到聲學(xué)模型：同樣使用非自回歸掩碼生成Transformer，語(yǔ)義標(biāo)記作為條件生成多層聲學(xué)標(biāo)記序列，重建高質(zhì)量的語(yǔ)音波形。

MaskGCT的項(xiàng)目地址

• GitHub倉(cāng)庫(kù)：https://github.com/open-mmlab/Amphion/tree/main/models/tts/maskgct
• HuggingFace模型庫(kù)：https://huggingface.co/amphion/MaskGCT
• arXiv技術(shù)論文：https://arxiv.org/pdf/2409.00750v2
• 公測(cè)版地址（趣丸千音）：https://voice.funnycp.com/

MaskGCT的應(yīng)用場(chǎng)景

• 有聲讀物和播客：利用MaskGCT生成的高質(zhì)量語(yǔ)音，為電子書(shū)、有聲讀物和播客節(jié)目提供自然動(dòng)聽(tīng)的朗讀聲，提升聽(tīng)眾的聽(tīng)覺(jué)體驗(yàn)。
• 智能助手和機(jī)器人：在智能設(shè)備及客服系統(tǒng)中，MaskGCT為用戶提供更加自然和個(gè)性化的語(yǔ)音交互體驗(yàn)。
• 視頻游戲和虛擬現(xiàn)實(shí)：在游戲及虛擬現(xiàn)實(shí)應(yīng)用中，MaskGCT為角色生成逼真的語(yǔ)音，增強(qiáng)用戶的沉浸感。
• 影視制作和配音：在影視后期制作中，MaskGCT能夠快速生成或替換角色的語(yǔ)音，提高制作效率。
• 語(yǔ)言學(xué)習(xí)和教育：MaskGCT可以生成標(biāo)準(zhǔn)或特定口音的語(yǔ)音，輔助語(yǔ)言學(xué)習(xí)者進(jìn)行發(fā)音和聽(tīng)力的練習(xí)。

常見(jiàn)問(wèn)題

• MaskGCT支持哪些語(yǔ)言？ MaskGCT支持中文、英文、日文、韓文、法文和德文六種語(yǔ)言的語(yǔ)音合成。
• 如何使用MaskGCT？ 用戶可以訪問(wèn)公測(cè)版地址進(jìn)行試用，開(kāi)發(fā)者也可通過(guò)GitHub倉(cāng)庫(kù)獲取源代碼。
• MaskGCT的音質(zhì)如何？ MaskGCT在多個(gè)TTS基準(zhǔn)數(shù)據(jù)集上表現(xiàn)優(yōu)異，高質(zhì)量的語(yǔ)音合成效果甚至超過(guò)了人類(lèi)。