VITA-Audio – 開源的端到端多模態(tài)語音大模型，低延遲、推理快

VITA-Audio是一款開源的端到端多模態(tài)語音大模型，具備低延遲和快速推理的顯著優(yōu)勢。它通過創(chuàng)新的多模態(tài)交叉標記預測（MCTP）模塊，實現(xiàn)了在首次前向傳播中即刻生成音頻輸出，顯著縮短了流媒體場景下的延遲。VITA-Audio的設計旨在滿足語音識別、文本轉語音及口語問答等多種應用需求，其推理速度在相同規(guī)模的開源模型中快出3至5倍。

VITA-Audio是什么

VITA-Audio是一款開源的端到端多模態(tài)語音大模型，具有極低的延遲和快速的推理能力。它通過輕量化的多模態(tài)交叉標記預測（MCTP）模塊，能夠在首次前向傳播中高效生成音頻輸出，從而顯著降低流媒體場景中的延遲。采用四階段漸進式訓練策略，VITA-Audio在70億參數(shù)的規(guī)模下，推理速度比其他同類開源模型快3至5倍，并在語音識別（ASR）、文本轉語音（TTS）和口語問答（SQA）等任務中表現(xiàn)出色。

VITA-Audio的主要功能

• 實時對話能力：VITA-Audio在首次前向傳播時能夠快速生成音頻輸出，從而實現(xiàn)極低延遲的實時對話功能。通過多模態(tài)交叉標記預測（MCTP）模塊，模型能夠在一次前向傳播中高效生成多個音頻標記，大幅度降低了流媒體場景中生成首個音頻的延遲。
• 高效推理加速：在70億參數(shù)的規(guī)模下，VITA-Audio實現(xiàn)了3至5倍的推理加速。得益于其獨特的四階段漸進式訓練策略，該模型在盡量減少語音質量損失的同時，提升了推理效率。
• 多模態(tài)交互能力：VITA-Audio能夠理解和處理多種模態(tài)的數(shù)據(jù)，包括音頻和文本。在多模態(tài)交互場景中，它展現(xiàn)出廣泛的應用潛力，比如在語音助手和智能客服等領域，能夠提供更加豐富和自然的用戶體驗。
• 語音生成與識別：VITA-Audio在自動語音識別（ASR）、文本轉語音（TTS）和口語問答（SQA）等多項基準測試中，表現(xiàn)優(yōu)于其他同規(guī)模的開源模型。它在語音生成和識別方面具有較高的準確性與效率，能夠滿足不同場景下的語音交互需求。

VITA-Audio的技術原理

• 多模態(tài)交叉標記預測（MCTP）模塊：這是VITA-Audio的關鍵創(chuàng)新之一，該模塊在單次模型前向傳播中高效生成多個音頻標記，從而顯著降低流媒體場景下生成首個音頻的延遲，實現(xiàn)了極低延遲的實時對話能力。
• TiCodec模塊：該模塊負責將連續(xù)的語音波形編碼為離散的token，并將離散token解碼回波形，使得語音與文本能夠在同一序列空間中進行統(tǒng)一建模。
• 非自回歸（NAR）與自回歸（AR）解碼器：NAR解碼器一次性預測整句語音token的分布，速度快但準確度相對較低；而AR解碼器依賴之前生成的token，生成質量更高但速度較慢。VITA-Audio結合了這兩者的優(yōu)勢，首先用NAR生成初步的語音token分布，再由AR進行精細調(diào)整，兼顧了速度與質量。
• 四階段漸進式訓練策略
  • 第一階段：視覺-語言對齊：通過訓練視覺適配器，利用描述性字幕和視覺問答數(shù)據(jù)微調(diào)模型，建立強大的視覺理解能力。
  • 第二階段：音頻輸入微調(diào)：使用語音轉錄配對數(shù)據(jù)訓練音頻編碼器，隨后用語音問答數(shù)據(jù)進行微調(diào)，使模型具備理解和響應音頻輸入的能力。
  • 第三階段：音頻輸出微調(diào)：訓練音頻解碼器，實現(xiàn)端到端的語音輸出，無需外部文本轉語音（TTS）模塊。
  • 第四階段：多模態(tài)指令微調(diào)：進一步優(yōu)化模型在多模態(tài)任務中的表現(xiàn)，提升其對不同模態(tài)輸入的處理能力。

VITA-Audio的項目地址

• Github倉庫：https://github.com/VITA-MLLM/VITA-Audio
• HuggingFace模型庫：https://huggingface.co/collections/VITA-MLLM/vita-audio
• arXiv技術論文：https://arxiv.org/pdf/2505.03739

VITA-Audio的應用場景

• 智能家居控制：VITA-Audio能夠理解語音指令，從而控制家中的智能設備，如燈光、溫度和安全系統(tǒng)等。
• 智能客服：在在線客服場景中，VITA-Audio能夠同時理解用戶的文字描述、圖片上傳或語音留言，迅速且準確地回復問題。
• 教育輔助：在在線教育平臺或學習應用中，VITA-Audio能夠輔助學生學習，通過分析學生上傳的學習資料（如課本圖片、教學視頻等），結合學生的提問，提供知識點講解和習題解答等服務。
• 醫(yī)療輔助：VITA-Audio可以幫助醫(yī)生解讀醫(yī)學影像、分析病歷數(shù)據(jù)，并結合最新的醫(yī)學研究文獻，提供輔助診斷和治療方案的建議。
• 內(nèi)容創(chuàng)作：在媒體公司或自媒體平臺，VITA-Audio能夠輔助內(nèi)容創(chuàng)作者生成文章、視頻腳本等，通過理解創(chuàng)作主題和風格要求，提供創(chuàng)意靈感和寫作建議。