端側 GPT-4o來了！ 面壁發(fā)布全新端側模型，全模態(tài)、端到端，支持實時流式音視頻通話！

近日，面壁智能發(fā)布并開源了全新一代小鋼炮 MiniCPM-o 2.6

原標題：端側 GPT-4o來了！ 面壁發(fā)布全新端側模型，全模態(tài)、端到端，支持實時流式音視頻通話！
文章來源：AI前線
內容字數(shù)：5600字

面壁智能開源MiniCPM-o 2.6：全模態(tài)實時流式AI模型

本文總結了面壁智能最新開源的MiniCPM-o 2.6模型的關鍵特性及應用前景。

1. MiniCPM-o 2.6 的核心能力

   MiniCPM-o 2.6是一個參數(shù)規(guī)模僅8B的端到端全模態(tài)模型，在視覺、語音和多模態(tài)方面性能堪比GPT-4o-202405。它支持雙語實時語音對話，并具備聲音可配置、情緒/語速/風格控制、端到端語音克隆和角色扮演等功能。此外，該模型還提升了視覺能力，包括強大的OCR能力、多語言支持和視頻理解能力。其優(yōu)越的token密度使其能夠在iPad等端側設備上進行多模態(tài)實時流處理，實現(xiàn)了實時流式全模態(tài)開源模型的SOTA。

2. 超越現(xiàn)有模型的性能

   MiniCPM-o 2.6在多個基準測試中表現(xiàn)出色。在語音方面，其理解和生成能力均達到開源雙SOTA，超越了Qwen2-Audio-7B-Instruct和GLM-4-Voice 9B。在視覺方面，它也達到了端側全模態(tài)模型最佳水平，性能與GPT-4o和Claude-3.5-Sonnet相當。尤其是在StreamingBench榜單（實時流式視頻理解）上，其性能同樣驚艷，與GPT-4o和Claude-3.5-Sonnet不相上下。

3. 實時流式與端到端優(yōu)勢

   不同于市場上僅處理靜態(tài)圖像的“照片大模型”，MiniCPM-o 2.6能夠持續(xù)對實時視頻和音頻流進行建模，更貼近人類的自然視覺交互。它可以感知用戶提問之前的畫面和聲音，并實現(xiàn)實時打斷和流暢對話，具備更強的上下文理解能力和抗噪能力。 它還能識別環(huán)境聲音，例如翻書、倒水、敲門聲等細節(jié)，這是GPT-4o所不具備的。

4. 高級情感語音對話

   MiniCPM-o 2.6 的高級情感語音對話功能，具備真人質感的語音生成能力、低延遲、實時打斷、情感與語氣表達、可控語音生成（情感、音色、風格控制）以及語音克隆和基于語言描述的聲音創(chuàng)建等特性，帶來更自然流暢的交互體驗。

5. 端側大模型的潛力

   面壁智能押注端側大模型，看重其隱私性好、可靠性高、響應速度快以及對網(wǎng)絡環(huán)境要求低的優(yōu)勢。MiniCPM-o 2.6的多模態(tài)特性使其在智能座艙、教育和商務等領域具有巨大的應用潛力，例如實現(xiàn)沉浸式學習、實時翻譯等功能。

6. 大模型密度定律

   面壁團隊提出“大模型密度定律”，認為模型能力密度隨時間呈指數(shù)級增長，模型參數(shù)規(guī)模和推理/訓練開銷將持續(xù)下降。這預示著未來更強大的模型能夠運行在各種終端設備上。

總而言之，MiniCPM-o 2.6 作為一款全模態(tài)實時流式AI模型，憑借其強大的性能和端側部署能力，展現(xiàn)了在多個領域的巨大應用潛力，為AI技術的發(fā)展帶來了新的突破。

聯(lián)系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發(fā)者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業(yè)界實踐案例，助你全面擁抱AIGC。