FireRedTTS-2

FireRedTTS-2 – 小紅書推出的流式文本轉語音系統

FireRedTTS-2：革新對話式語音合成，實現低延遲、高保真、多語言的實時交互。

FireRedTTS-2 是一款尖端的長篇幅流式文本轉語音（TTS）系統，其核心優勢在于能夠生成逼真、自然的多說話人對話。該系統憑借其創新的12.5Hz流式語音分詞器和高效的雙Transformer架構，實現了前所未有的低延遲和高保真語音合成效果，并全面支持多語言。FireRedTTS-2 不僅覆蓋了英語、中文、日語、韓語、法語、德語和俄語等多種主流語言，更具備強大的零樣本跨語言及語碼轉換語音克隆能力，能夠靈活適應各種語音生成需求。

FireRedTTS-2 的獨特之處

FireRedTTS-2 突破了傳統TTS系統的局限，專注于為用戶帶來更豐富、更具沉浸感的語音體驗。其最顯著的特點包括：

流暢的長對話生成：系統現已支持生成包含4位說話者、長達3分鐘的對話內容。通過不斷優化和擴充訓練語料，其對話時長和說話人數量均有進一步提升的潛力，為內容創作者和開發者提供了廣闊的應用空間。
全球化的語言能力：FireRedTTS-2 的多語言覆蓋范圍極廣，涵蓋了世界上主要的交流語言。更令人驚嘆的是，它能夠實現零樣本跨語言語音克隆，即在無需目標語言額外訓練數據的情況下，即可模仿不同語言的說話風格，極大地簡化了跨語言內容制作的流程。
近乎實時的響應速度：在L20 GPU環境下，FireRedTTS-2 的首次數據包延遲僅為140毫秒，這一超低延遲使其成為實時交互場景的理想選擇。無論是語音助手、在線客服還是游戲NPC，都能提供即時、流暢的語音反饋。
卓越的語音穩定性與自然度：通過嚴謹的獨白與對話測試，FireRedTTS-2 生成的語音在相似度、清晰度和韻律感方面均表現出色，語音識別錯誤率極低，能夠持續輸出高質量、富有表現力的聲音。
個性化音色定制：該系統能夠生成具有隨機特征的語音，為語音識別模型訓練提供了海量多樣化的數據集，也為語音交互系統提供了豐富的測試素材，滿足不同應用場景下的個性化需求。
情感化語音表達：FireRedTTS-2 在與機器人集成時，能夠根據上下文智能生成富有情感的語音，使得人機交互更加生動、貼近真實對話，顯著提升用戶體驗。
先進的流式處理技術：采用12.5Hz流式語音分詞器，FireRedTTS-2 實現了高效的流式解碼，確保了在生成長篇幅語音內容時，依然能夠保持高質量和低延遲，完美契合實時應用的需求。

FireRedTTS-2 的技術精髓

FireRedTTS-2 的卓越性能源于其背后強大的技術支撐：

高效的12.5Hz流式語音分詞器：這一創新的分詞器以較低的幀率運行，能夠更全面地編碼語義信息，縮短語音序列長度，并穩定文本到分詞的映射關系，從而實現高保真的流式解碼，為實時應用奠定堅實基礎。
創新的雙Transformer架構：系統采用獨特的文本-語音交錯格式，將帶有說話人標記的文本與同步的語音分詞序列相結合，并利用雙Transformer模型進行高效建模。其中，一個大型的解碼器僅Transformer負責預測第一層的分詞，而一個較小的Transformer則處理后續層級，實現了精細化的語音生成。
強大的多語言建模能力：通過先進的多語言預訓練技術，FireRedTTS-2 能夠無縫支持多種語言的語音生成，并提供零樣本跨語言及語碼轉換語音克隆功能，使其能夠輕松應對全球化的對話場景。
極致的低延遲設計：模型架構和推理流程的深度優化，確保了系統在L20 GPU上的卓越表現，首次數據包延遲可低至140毫秒，完全滿足對實時性要求極高的交互式應用。
可擴展的長對話支持：憑借高效的分詞和建模機制，FireRedTTS-2 能夠輕松處理包含多位說話者、較長時長的對話。通過持續的訓練和語料擴充，其在對話時長和說話人數量方面仍有巨大的提升空間。
上下文感知的韻律調整：在語音生成過程中，FireRedTTS-2 能夠精準捕捉上下文信息，并據此動態調整語音的韻律和情感表達，使得合成的語音更加自然、生動，富有感染力。