NEXUS-O – 多模態AI模型，實現對語言、音頻和視覺全方位感知與交互

NEXUS-O 是由 HiThink 研究院、英國帝國理工學院、浙江大學、復旦大學、微軟和 Meta AI 等多個機構共同開發的先進多模態人工智能模型。它能夠全面感知和互動語言、音頻和視覺信息，支持音頻、圖像、視頻與文本的任意組合輸入，并以音頻或文本的形式輸出結果。NEXUS-O 基于視覺語言模型進行預訓練，并通過高質量合成音頻數據來增強三模態之間的對齊能力。此外，NEXUS-O 引入了新的音頻測試平臺 Nexus-O-audio，覆蓋了多個真實應用場景，如會議和直播，以評估模型在實際應用中的魯棒性。在視覺理解、音頻問答、語音識別和翻譯等任務上，NEXUS-O 展現了卓越的性能，證明了其高效性和有效性。

NEXUS-O是什么

NEXUS-O 是一個多模態AI模型，由 HiThink 研究院、英國帝國理工學院、浙江大學、復旦大學、微軟和 Meta AI 等機構共同推出。它能夠在語言、音頻和視覺信息之間進行全面的感知與交互，支持音頻、圖像、視頻和文本的任意組合輸入，并以音頻或文本形式進行輸出。NEXUS-O 的預訓練基于視覺語言模型，借助高質量的合成音頻數據來提升三模態的對齊能力，同時引入了新的音頻測試平臺 Nexus-O-audio，涵蓋多種真實場景，如會議和直播，以評估模型在實際應用中的表現。NEXUS-O 在視覺理解、音頻問答、語音識別和翻譯等任務中展現了出色的能力，基于三模態對齊分析顯示其高效性與有效性。

NEXUS-O的主要功能

• 語音處理能力：支持自動語音識別（ASR）、語音到文本翻譯（S2TT）、語音合成和語音指令交互，適用于多種語音應用場景。
• 視覺理解與交互：處理圖像和視頻輸入，完成視覺問答（VQA）、圖像描述生成和視頻分析等任務，展現強大的視覺理解能力。
• 語言交互與推理：理解自然語言指令，進行對話交互、文本生成和多模態推理，支持復雜的語言交互場景。
• 跨模態對齊與理解：基于多模態對齊技術，實現音頻、視覺和語言模態之間的協同理解，提升模型在復雜場景下的綜合性能。

NEXUS-O的技術原理

• 多模態架構：
  • 視覺編碼器：采用改進的 Vision Transformer（ViT）架構，支持高分辨率圖像輸入，利用窗口注意力機制提升計算效率。
  • 音頻編碼器與解碼器：音頻編碼器基于預訓練的 Whisper-large-v3 模型，將語音特征映射到語義空間；音頻解碼器利用自回歸生成離散語音碼，將預訓練的生成器合成最終的語音波形。
• 語言模型：以 Qwen2.5-VL-7B 為基礎，包含 28 層因果 Transformer，負責處理語言模態的任務。
• 多模態對齊與預訓練：在預訓練階段，將音頻、視覺和語言模態的特征對齊到統一的語義空間，提升模型理解和生成跨模態信息的能力。采用分階段預訓練方法，包括音頻對齊、音頻指令跟隨（SFT）和音頻輸出調優，逐步提升多模態交互能力。
• 數據合成與增強：通過文本到語音（TTS）技術，將文本數據轉化為自然語音，增強數據多樣性。對合成數據進行長度過濾、非文本元素過濾和模式匹配過濾，以確保數據質量。
• 多模態任務的聯合訓練：在預訓練階段，支持多種多模態任務，如自動語音識別、語音到文本翻譯、語音指令交互和視覺問答，聯合訓練提升模型的泛化能力。
• 表示空間對齊分析：利用核對齊（kernel alignment）等方法，評估不同模態在模型內部的表示空間對齊程度，優化多模態特征融合效果。

NEXUS-O的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2503.01879

NEXUS-O的應用場景

• 智能語音交互：作為語音助手的核心，支持多語言對話、語音控制設備和實時翻譯，廣泛應用于智能家居、車載系統和智能客服等領域。
• 視頻會議與協作：提供實時語音翻譯、智能會議記錄和虛擬助手功能，提升遠程辦公和多語言會議的效率。
• 教育與內容創作：輔助語言學習、智能輔導和教育游戲開發，支持視頻字幕生成、音頻內容創作和多模態內容推薦，豐富學習與創作體驗。
• 智能駕駛與安防：通過語音控制車輛功能、環境感知輔助以及智能家居控制和安防監控，提升駕駛安全性和生活便利性。
• 公共服務與醫療健康：支持智能導覽、應急響應輔助、語音診斷輔助和康復訓練指導，助力公共服務智能化和醫療健康領域的個性化服務。