Stream-Omni

Stream-Omni – 中科院聯合國科大推出的語言視覺語音模型

Stream-Omni是一款由中國科學院計算技術研究所智能信息處理重點實驗室、中國科學院人工智能安全重點實驗室及中國科學院大學攜手打造的，堪比GPT-4o的大型語言視覺語音模型。它支持多種模態組合的交互，核心在于其強大的語言理解與生成能力，以及在視覺理解、語音交互和視覺引導的語音交互方面的卓越表現。該模型基于少量全模態數據訓練，即可實現高效的模態對齊和交互能力，提供更豐富的多模態交互體驗。

揭秘Stream-Omni：一款多模態交互的先鋒

Stream-Omni，這款由中國科學院科研機構傾力打造的先進模型，如同一個精通多門語言的博學者，它不僅能理解文本，還能“看懂”圖像，“聽懂”語音，并用文字和聲音做出回應。其核心在于強大的語言模型，它如同堅實的骨干，支撐著模型在多模態世界中穿梭。Stream-Omni能夠同時處理文本、視覺（圖像）和語音等多種信息，實現文本與視覺的精準對齊，語音與文本的無縫銜接，為用戶帶來前所未有的交互體驗。

Stream-Omni：功能亮點一覽

多模態輸入與輸出的完美融合：支持文本、圖像、語音的多元輸入，并能以文本和語音兩種形式進行輸出，實現跨模態的流暢溝通。
“邊聽邊看”的沉浸式體驗：在語音交互過程中，Stream-Omni能夠同步輸出中間文本結果，例如自動語音識別的轉錄和模型響應，讓交互過程更加直觀、豐富。
高效訓練，數據需求更低：得益于創新的技術架構，Stream-Omni僅需少量全模態數據即可完成訓練，顯著降低了對數據量的依賴，提升了訓練效率。
靈活多變的交互模式：支持多種模態組合的交互，例如文本+視覺到文本、文本+視覺到語音、語音+視覺到文本、語音+視覺到語音等，滿足不同場景下的多樣化需求。
卓越的視覺理解與語音交互能力：在視覺理解和語音交互任務中，Stream-Omni表現出色，能夠準確理解并生成與視覺內容相關的文本和語音信息。

Stream-Omni的幕后技術

以大型語言模型為核心：以強大的大型語言模型（LLM）為基礎，賦予Stream-Omni卓越的語言理解和生成能力，為多模態交互奠定堅實基礎。
視覺文本對齊的巧妙實現：通過序列維度拼接的方式，將視覺特征與文本輸入融合，再共同輸入到LLM中，實現視覺與文本模態的精準對齊。
語音文本對齊的創新方案：引入基于CTC的層維度映射，在LLM的底部和頂部添加語音層，實現語音到文本的映射和文本到語音的生成，實現語音與文本模態的無縫對接。
多任務學習策略：通過多任務學習，同時訓練視覺文本、語音文本及全模態任務，使模型能夠更好地理解和生成多模態內容。
實時語音生成的流暢體驗：基于特殊的語音層設計和層維度映射，Stream-Omni能夠在生成文本的同時，實時生成對應的語音輸出，帶來流暢自然的交互體驗。
數據驅動與監督學習的完美結合：模型依賴少量多模態數據進行訓練，通過精心設計的對齊機制和多任務學習，在有限的數據上實現高效的模態對齊和交互能力。

探索Stream-Omni的世界

產品官網：由于該項目由中國科學院科研機構聯合推出，目前沒有專門的產品官網。您可以關注中國科學院計算技術研究所智能信息處理重點實驗室、中國科學院人工智能安全重點實驗室及中國科學院大學的官方信息。

項目地址：

GitHub倉庫：https://github.com/ictnlp/Stream-Omni
HuggingFace模型庫：https://huggingface.co/ICTNLP/stream-omni-8b
arXiv技術論文：https://arxiv.org/pdf/2506.13642

Stream-Omni的應用場景暢想

智能車載系統：想象一下，您可以通過語音指令查詢路線、獲取路況，系統結合導航地圖、路況攝像頭圖像，實時顯示文本提示和語音反饋，讓駕駛更安全、更便捷。
教育輔助工具：在課堂上，學生可以通過語音提問，系統結合教材視覺內容（如插圖、圖表），給出詳細的文本解釋和語音回答，助力學生更好地理解和學習知識。
智能家居控制：作為智能家居助手，您可以通過語音指令控制家電設備，系統結合攝像頭捕捉的環境信息，提供文本或語音反饋，實現更智能、便捷的家居控制。
醫療輔助診斷：醫生在查看患者病歷時，通過語音指令查詢關鍵信息，系統結合X光片、CT圖像等視覺報告，提供詳細的文本分析和語音解釋，輔助醫生更準確地做出診斷。
智能客服服務：在客服領域，客服人員可以通過語音與客戶交流，系統實時顯示相關文本信息和視覺提示（如產品圖片、操作流程圖），幫助客服人員快速理解客戶需求并提供準確解答，提升服務質量和效率。