Kokoro-TTS

Kokoro-TTS – 輕量級文本轉語音模型，支持多語言多語音風格生成

Kokoro-TTS 是由 hexgrad 開發的一款輕量級文本轉語音（TTS）模型，參數高達 8200 萬。它結合了 StyleTTS 2 和 ISTFTNet 的混合架構，采用純解碼器設計，避免使用擴散模型，從而有效降低了計算復雜度，同時實現了優秀的語音合成效果和實時處理能力。

Kokoro-TTS是什么

Kokoro-TTS 是 hexgrad 推出的輕量級文本轉語音（TTS）模型，擁有 8200 萬參數。該模型基于 StyleTTS 2 和 ISTFTNet 結合的架構，采用純解碼器設計，且不依賴于擴散模型，顯著降低計算復雜度，確保出色的語音合成質量與實時處理能力。Kokoro-TTS 支持多種語音風格，包括獨特的耳語風格，能夠生成自然的語調和韻律，兼容多平臺，且資源占用極少。訓練數據均為有許可的非版權音頻數據以及 IPA 音素標簽，包括公共領域音頻、Apache、MIT 等許可證下的音頻，以及來自大型提供商的閉源 TTS 模型生成的合成音頻。目前，Kokoro-TTS 支持美國英語和英國英語，提供 10 種不同的語音包，涵蓋多樣的性別和語音特征。

Kokoro-TTS

Kokoro-TTS的主要功能

自然流暢的語調與韻律：能夠生成接近自然人聲的流暢語調與韻律，避免傳統 TTS 模型常見的生硬和機械感。
多樣化的語音風格：支持多種語音風格，包括耳語等特殊風格，用戶可根據具體應用場景和需求選擇合適的語音風格，豐富語音表達的多樣性。
語言覆蓋：目前支持美國英語與英國英語，為廣大英語用戶提供便捷的文本轉語音服務，滿足不同地區用戶對語音合成的需求。
豐富的語音包選擇：提供 10 種不同的語音包，涵蓋不同性別和語音特征，如 Adam、Michael（美式英語）、Bella、Sarah（英式英語）等，用戶可根據個人喜好選擇多樣化的語音包，實現個性化語音合成。
實時語音處理：具備快速的實時處理能力，能迅速將文本轉化為語音，延遲極低，適合在線直播、實時翻譯等對實時性要求高的應用場景。
高效的架構設計：采用基于 StyleTTS 2 和 ISTFTNet 的混合架構，以及純解碼器設計，避免擴散模型，顯著降低計算復雜度，提高合成速度，并可在資源有限的設備上高效運行。
無縫的 API 集成：提供簡便的 API 集成，便于開發者將其嵌入各種應用程序中，支持桌面應用、Web 服務及移動平臺的文本轉語音功能。
本地化處理：支持本地處理，無需將數據上傳至云端，用戶完全控制數據，保障隱私和數據安全。

如何使用Kokoro-TTS

在線體驗：訪問 Hugging Face Spaces 的在線體驗Demo，直接輸入文本即可體驗語音合成效果。
本地部署
- 安裝依賴，確保系統滿足硬件和軟件要求，尤其是 NVIDIA GPU 和 CUDA 驅動，另外安裝 Docker Desktop 和 Git。
- 構建模型并加載默認的語音包。
- 調用生成函數，返回 24kHz 音頻和使用的音素。
- 顯示 24kHz 音頻并打印輸出音素。