LongCat-Audio-Codec – 美團開源的語音編解碼方案

美團LongCat團隊傾力打造的LongCat-Audio-Codec，是一款專為語音大語言模型（Speech LLM）量身定制的創新語音編解碼解決方案。它巧妙地融合了語義與聲學雙Token的并行提取機制，成功攻克了傳統方案中難以兼顧語音語義理解與聲學特征保留的難題，實現了二者的和諧統一。低延遲的流式解碼器更是亮點，將解碼延遲控制在毫秒級別，為車載語音助手、實時翻譯等對時效性要求極高的應用場景提供了堅實保障。此外，該編解碼器在超低比特率下展現出驚人的高保真度，并集成了超分辨率設計，不僅能以極低的碼率重建音頻，還能顯著提升輸出音頻的采樣率和自然流暢度。LongCat-Audio-Codec提供了一套完整便捷的Token生成器與還原器工具鏈，支持用戶根據不同下游任務和場景，靈活配置碼本數量，以達到最佳效果。其多階段訓練策略更是精益求精，致力于在高壓縮率與高音質之間尋求最優平衡。

LongCat-Audio-Codec的核心亮點

• 并行的語義與聲學Token化：通過將原始音頻信號映射為語義與聲學并行的Token序列，LongCat-Audio-Codec能夠全面捕捉語音的核心語義信息，同時保留細致的聲學特征。
• 瞬時的流式解碼體驗：該方案采用幀級增量處理模式，實現了毫秒級的低延遲音頻解碼，確保了流暢的實時交互體驗。
• 極致的比特率與卓越的保真度：在極低的比特率下，LongCat-Audio-Codec依然能實現令人驚嘆的高保真音頻重建，并通過內置的超分辨率技術，進一步優化音頻的自然度和聽感。

LongCat-Audio-Codec的技術精髓

• 雙向Transformer驅動的語義-聲學Token并行提取：借助強大的雙向Transformer架構，方案能夠精準提取語音的語義Token，聚焦于核心信息。同時，結合優化的量化技術，生成聲學Token，捕捉韻律、音色等豐富的副語言特征，從而有效解決了語義與聲學信息難以平衡的挑戰。
• 幀級增量處理的低延遲流式解碼：通過精妙的幀級增量處理機制，有效控制了對未來語音Token的依賴，將解碼延遲壓縮至百毫秒級別，完美契合了實時交互的嚴苛要求。
• 突破極限的超低比特率高保真與集成超分辨率：通過模型架構的深度優化和精細化的訓練策略，LongCat-Audio-Codec在極低比特率下實現了出色的音頻重建質量。更值得一提的是，它將超分辨率技術無縫集成到解碼器中，顯著提升了輸出音頻的采樣率和整體自然度。
• 高度靈活的聲學碼本配置：為了滿足多樣化的下游任務需求，該方案提供了靈活的聲學碼本配置選項，允許用戶根據具體場景（如對音色要求高或要求低的場景）調整碼本數量。
• 層層遞進的多階段訓練策略：通過精心設計的多階段訓練流程，LongCat-Audio-Codec能夠分步優化，分別滿足在高壓縮率下的精確重構需求、高音質的自然合成需求以及個性化定制的需求。

LongCat-Audio-Codec的獲取途徑

• GitHub開源社區：https://github.com/meituan-longcat/LongCat-Audio-Codec
• Hugging Face模型中心：https://huggingface.co/meituan-longcat/LongCat-Audio-Codec

LongCat-Audio-Codec的廣泛應用前景

• 智能家居設備：顯著提升智能音箱的語音交互實時性和回應的自然度，使其能更快速、更精準地理解并響應用戶指令。
• 車載智能系統：滿足車載環境下對語音交互的低延遲需求，提供即時反饋，優化駕駛者的使用體驗。
• 無縫實時翻譯：憑借其低延遲流式解碼能力，實現高質量的實時語音翻譯，最大程度地縮短翻譯過程中的延遲。
• 語音識別與合成的強大引擎：為語音識別和合成系統提供高效的音頻處理支持，從而提升語音識別的準確率和語音合成的自然度。
• 長音頻內容處理的優選方案：支持對長音頻內容進行高效的編碼和解碼，尤其適用于有聲讀物、播客等需要處理大量音頻數據的場景。
• 賦能多語言語音應用：支持對多種語言的語音進行處理，為跨語言語音應用的發展提供關鍵技術支撐。