GTSinger是一個(gè)由浙江大學(xué)研究團(tuán)隊(duì)開(kāi)發(fā)的大型開(kāi)源高質(zhì)量歌聲數(shù)據(jù)集,旨在支持多種歌聲任務(wù)。該數(shù)據(jù)集包含80.59小時(shí)的專業(yè)錄音棚錄制的歌聲,涵蓋九種語(yǔ)言,包括漢語(yǔ)、英語(yǔ)、日語(yǔ)、韓語(yǔ)、俄語(yǔ)、西班牙語(yǔ)、法語(yǔ)、德語(yǔ)和意大利語(yǔ),由20位專業(yè)歌手演唱,展現(xiàn)出豐富的音色和風(fēng)格多樣性。
GTSinger是什么
GTSinger是浙江大學(xué)研究團(tuán)隊(duì)推出的一款大型開(kāi)源高質(zhì)量歌聲數(shù)據(jù)集,專注于支持多元化的歌聲相關(guān)任務(wù)。該數(shù)據(jù)集包含80.59小時(shí)的專業(yè)錄音棚錄制的歌聲,覆蓋九種不同的語(yǔ)言,包括漢語(yǔ)、英語(yǔ)、日語(yǔ)、韓語(yǔ)、俄語(yǔ)、西班牙語(yǔ)、法語(yǔ)、德語(yǔ)和意大利語(yǔ),所有錄音均由20位專業(yè)歌手演唱,呈現(xiàn)出豐富多彩的音色與風(fēng)格。GTSinger特別關(guān)注歌唱技巧的控制與建模,提供六種常用歌唱技巧的對(duì)照組和音素級(jí)標(biāo)注,并附有真實(shí)樂(lè)譜,便于實(shí)際音樂(lè)創(chuàng)作。數(shù)據(jù)集還包括人工音素對(duì)齊、全局風(fēng)格標(biāo)簽及配對(duì)朗讀數(shù)據(jù),適應(yīng)各種歌聲任務(wù)。
GTSinger的主要功能
- 多語(yǔ)言歌聲數(shù)據(jù)集:GTSinger提供九種不同語(yǔ)言的歌聲,支持跨語(yǔ)言的歌聲合成與分析,展現(xiàn)多樣的音色和風(fēng)格。
- 歌唱技巧控制:該數(shù)據(jù)集提供六種常用歌唱技巧的對(duì)照組和音素級(jí)標(biāo)注,幫助研究者更好地建模和控制歌聲中的技巧。
- 真實(shí)樂(lè)譜支持:伴隨歌聲提供匹配的真實(shí)樂(lè)譜,為歌聲合成技術(shù)在實(shí)際音樂(lè)創(chuàng)作中的應(yīng)用提供便利。
- 多任務(wù)適配:GTSinger設(shè)計(jì)支持多種歌聲任務(wù),包括歌聲合成、技巧識(shí)別、風(fēng)格遷移及語(yǔ)音轉(zhuǎn)歌聲等。
- 基準(zhǔn)測(cè)試:數(shù)據(jù)集提供基準(zhǔn)測(cè)試,用于評(píng)估在不同歌聲任務(wù)下的表現(xiàn)和適用性。
GTSinger的技術(shù)原理
- 高質(zhì)量音頻錄制:GTSinger的數(shù)據(jù)集在專業(yè)錄音棚中錄制,確保音頻數(shù)據(jù)的高品質(zhì)。
- 音素對(duì)齊與標(biāo)注:應(yīng)用音樂(lè)信息檢索技術(shù)(如MFA和Praat)進(jìn)行音素對(duì)齊與標(biāo)注,實(shí)現(xiàn)音素級(jí)的精確控制。
- 歌唱技巧標(biāo)注:通過(guò)專家聽(tīng)感和音頻分析技術(shù)對(duì)歌聲中的歌唱技巧進(jìn)行標(biāo)注,便于模型學(xué)習(xí)與控制。
- 樂(lè)譜生成:結(jié)合音頻信號(hào)處理技術(shù)與音樂(lè)理論,從歌聲中提取音高信息,生成MIDI形式的樂(lè)譜,并由專家調(diào)整為真實(shí)樂(lè)譜。
- 數(shù)據(jù)集構(gòu)建與驗(yàn)證:通過(guò)人工審核和后期處理,確保數(shù)據(jù)集的質(zhì)量與適用性,包括音頻片段的語(yǔ)義分割和無(wú)聲區(qū)域的處理。
GTSinger的項(xiàng)目地址
- 項(xiàng)目官網(wǎng):gtsinger.github.io
- GitHub倉(cāng)庫(kù):https://github.com/GTSinger/GTSinger
- HuggingFace模型庫(kù):https://huggingface.co/datasets/GTSinger/GTSinger
- arXiv技術(shù)論文:https://arxiv.org/pdf/2409.13832
GTSinger的應(yīng)用場(chǎng)景
- 歌聲合成:基于數(shù)據(jù)集中的歌聲樣本和技巧標(biāo)注,開(kāi)發(fā)出合成特定技巧和風(fēng)格的高質(zhì)量歌聲的系統(tǒng)。
- 歌聲技巧識(shí)別:分析歌聲中的音素級(jí)技巧標(biāo)注,訓(xùn)練模型識(shí)別與分類不同的歌聲技巧。
- 歌聲風(fēng)格遷移:將一種風(fēng)格的歌聲轉(zhuǎn)換為另一種風(fēng)格,例如將流行歌曲的歌聲轉(zhuǎn)化為古典風(fēng)格。
- 語(yǔ)音轉(zhuǎn)歌聲(Speech-to-Singing,STS):將普通語(yǔ)音轉(zhuǎn)化為旋律化的歌聲,應(yīng)用于語(yǔ)音合成和音樂(lè)創(chuàng)作。
- 音樂(lè)教育:利用數(shù)據(jù)集中的真實(shí)樂(lè)譜和歌聲樣本,開(kāi)發(fā)音樂(lè)教育工具,幫助學(xué)生學(xué)習(xí)與練習(xí)唱歌技巧。
? 版權(quán)聲明
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載。
相關(guān)文章
暫無(wú)評(píng)論...