QA-MDT（Quality-aware Masked Diffusion Transformer）是由中國科學技術大學與科大訊飛共同開發的開源音樂生成模型。該模型能夠基于文本描述創作出高質量且富有音樂性的作品，憑借創新的質量感知訓練策略，QA-MDT在提升音樂波形質量的同時，展現出卓越的性能表現。它結合了掩蔽擴散變換器（MDT）和質量控制技術，為音樂制作及多媒體創作提供了強大的支持。

QA-MDT是什么

QA-MDT（Quality-aware Masked Diffusion Transformer）是中國科學技術大學與科大訊飛合作推出的開源音樂生成模型。該模型通過解析用戶提供的文本描述，生成與之相符的高質量音樂，創新的質量感知訓練方法幫助識別并提升音樂波形的質量。QA-MDT利用掩蔽擴散變換器（MDT）和質量控制技術，在大規模數據集上實現了卓越的性能，為音樂創作和多媒體制作提供了強有力的工具。

主要功能

• 文本生成音樂：用戶可輸入文本描述，QA-MDT將生成相應的音樂作品。
• 質量提升：該模型能夠識別并優化生成音樂的質量，確保輸出的歌曲具有高保真度。
• 數據集優化：通過對數據集的預處理及優化，提升音樂與文本之間的匹配程度。
• 多樣化創作：模型能夠生成多種風格的音樂，以滿足不同用戶的需求。

技術原理

• 文本解析與音樂生成：利用自然語言處理技術解析用戶文本，轉化為音樂特征，并生成音樂。
• 質量感知訓練機制：訓練過程中采用質量評分模型（如偽MOS分數）來評估音樂樣本的質量，確保生成音樂的高水平。
• 掩蔽擴散變換器（MDT）：基于Transformer架構，通過掩蔽與預測音樂信號的部分內容，學習音樂的潛在表示，從而提高生成的準確性。
• 質量控制機制：在生成過程中，依據訓練階段獲得的質量信息引導模型生成高品質音樂。
• 音樂與文本同步：利用大型語言模型（LLMs）和CLAP模型實現音樂信號與文本描述的同步，增強二者之間的一致性。

項目地址

• GitHub倉庫：https://github.com/QA-MDT
• arXiv技術論文：https://arxiv.org/pdf/2405.15863v2

應用場景

• 廣告與多媒體制作：為廣告、影視、視頻游戲及在線視頻生成定制的背景音樂和音效。
• 音樂行業：為音樂制作人和作曲家提供創作靈感，輔助創作新音樂作品。
• 音樂教育：作為教學工具，幫助學生理解音樂理論與作曲技巧，或用于音樂練習和即興演奏。
• 音頻內容創作：為播客、有聲書及其他音頻內容創作原創音樂，提升聽眾體驗。
• 智能助手與設備：為智能家居設備、虛擬助手等生成個性化音樂和聲音，增強用戶體驗。

常見問題

• QA-MDT支持哪些格式的文本描述？：QA-MDT支持多種自然語言文本描述，用戶可以用簡單的句子表達他們的音樂需求。
• 生成的音樂可以用于商業用途嗎？：由于QA-MDT是開源項目，生成的音樂作品通常可以使用，但請遵循相應的使用條款和許可證。具體情況請查閱項目文檔。
• 如何獲取QA-MDT的最新版本？：用戶可以訪問其GitHub倉庫，獲取最新版本及更新信息。