MiMo-Embodied – 小米推出的跨領(lǐng)域具身大模型

小米近期推出了一款名為 MiMo-Embodied 的重磅產(chǎn)品，堪稱全球首個(gè)開源的跨領(lǐng)域具身大模型。這款模型巧妙地將自動(dòng)駕駛與具身智能兩大前沿技術(shù)領(lǐng)域融為一體，在環(huán)境感知、任務(wù)規(guī)劃、空間理解等方面展現(xiàn)出了非凡的實(shí)力。

MiMo-Embodied：跨越邊界的智能新篇章

MiMo-Embodied 的問世，標(biāo)志著小米在人工智能領(lǐng)域邁出了重要一步。它并非一個(gè)單一領(lǐng)域的模型，而是將自動(dòng)駕駛的精準(zhǔn)判斷力與具身智能的靈活執(zhí)行力相結(jié)合，構(gòu)建了一個(gè)能夠理解并與真實(shí)世界進(jìn)行復(fù)雜交互的強(qiáng)大智能體。該模型基于先進(jìn)的視覺語言模型（VLM）架構(gòu)，并輔以一套精心設(shè)計(jì)的四階段訓(xùn)練策略，包括具身智能監(jiān)督微調(diào)、自動(dòng)駕駛監(jiān)督微調(diào)、鏈?zhǔn)酵评砦⒄{(diào)以及強(qiáng)化學(xué)習(xí)微調(diào)。這一訓(xùn)練流程極大地增強(qiáng)了模型在不同領(lǐng)域之間的泛化能力。

在自動(dòng)駕駛領(lǐng)域，MiMo-Embodied 能夠?qū)?fù)雜的交通場景進(jìn)行細(xì)致入微的感知，精準(zhǔn)預(yù)測行人和車輛等動(dòng)態(tài)目標(biāo)的行動(dòng)軌跡，并生成安全且高效的駕駛方案。而在具身智能的舞臺上，它則能領(lǐng)會(huì)自然語言的微妙指令，規(guī)劃并執(zhí)行一系列復(fù)雜的任務(wù)，展現(xiàn)出高度的智能和適應(yīng)性。

更令人矚目的是，MiMo-Embodied 在多項(xiàng)權(quán)威基準(zhǔn)測試中，其表現(xiàn)均超越了現(xiàn)有的開源模型和專用模型，充分證明了其在多模態(tài)交互方面的卓越潛力。

MiMo-Embodied 的核心亮點(diǎn)

• 領(lǐng)域融合的先驅(qū)：MiMo-Embodied 是首個(gè)成功整合自動(dòng)駕駛與具身智能兩大任務(wù)的模型。它能夠全面覆蓋環(huán)境感知、任務(wù)規(guī)劃以及空間理解等關(guān)鍵能力，使其在充滿動(dòng)態(tài)變化且需要多模態(tài)交互的復(fù)雜環(huán)境中大顯身手。
• 敏銳的環(huán)境洞察力：在自動(dòng)駕駛的場景下，該模型能夠精確識別交通標(biāo)志、車輛、行人等重要元素，并能預(yù)判它們的動(dòng)態(tài)行為，從而為安全駕駛提供可靠的保障。
• 智能的任務(wù)規(guī)劃與執(zhí)行：在具身智能的范疇內(nèi)，MiMo-Embodied 能夠依據(jù)自然語言的指示，生成一系列可操作的動(dòng)作序列，從而完成復(fù)雜的任務(wù)規(guī)劃，例如機(jī)器人自主導(dǎo)航和物體操控。
• 深刻的空間認(rèn)知與推理：模型具備出色的空間推理能力，能夠準(zhǔn)確理解物體之間的相互位置關(guān)系，這對于機(jī)器人導(dǎo)航、人機(jī)交互以及場景的深度理解至關(guān)重要，尤其是在自動(dòng)駕駛的路徑規(guī)劃方面。
• 無縫的多模態(tài)交互體驗(yàn)：通過深度融合視覺與語言信息，MiMo-Embodied 能夠處理圖像、視頻以及文本等多種輸入形式，輕松應(yīng)對視覺問答、指令遵循和場景描述等多種跨模態(tài)任務(wù)。
• 強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的優(yōu)化：在訓(xùn)練的最后階段，引入強(qiáng)化學(xué)習(xí)進(jìn)行微調(diào)，顯著提升了模型在復(fù)雜場景下的決策能力和任務(wù)執(zhí)行的可靠性，為在真實(shí)世界中的高效部署奠定了堅(jiān)實(shí)基礎(chǔ)。
• 開放共享的創(chuàng)新引擎：MiMo-Embodied 完全開源，其代碼和模型均可在 Hugging Face 上獲取，為全球的研究者和開發(fā)者提供了強(qiáng)大的工具集，有力地推動(dòng)了具身智能和自動(dòng)駕駛領(lǐng)域的協(xié)同創(chuàng)新。

MiMo-Embodied 的技術(shù)基石

• 統(tǒng)一的跨領(lǐng)域融合架構(gòu)：MiMo-Embodied 采用了統(tǒng)一的視覺語言模型（VLM）架構(gòu)，將自動(dòng)駕駛和具身智能的任務(wù)整合到一個(gè)模型框架內(nèi)。通過視覺編碼器、投影器以及強(qiáng)大的大語言模型（LLM），實(shí)現(xiàn)了視覺信息與文本理解的深度交織。
• 循序漸進(jìn)的多階段訓(xùn)練策略：模型通過四個(gè)精心設(shè)計(jì)的訓(xùn)練階段，逐步提升其性能。這四個(gè)階段分別是：具身智能監(jiān)督微調(diào)、自動(dòng)駕駛監(jiān)督微調(diào)、鏈?zhǔn)酵评砦⒄{(diào)以及強(qiáng)化學(xué)習(xí)微調(diào)。這一策略確保了模型在不同任務(wù)和場景下的強(qiáng)大泛化能力。
• 高效的視覺輸入處理：利用 Vision Transformer（ViT）技術(shù)，模型能夠?qū)螐垐D像、多張圖像以及視頻進(jìn)行編碼，提取關(guān)鍵的視覺特征。這些特征隨后通過多層感知機(jī)（MLP）被映射到與 LLM 對齊的潛在空間，從而實(shí)現(xiàn)視覺信息與語言信息的無縫融合。
• 數(shù)據(jù)驅(qū)動(dòng)的跨領(lǐng)域?qū)W習(xí)機(jī)制：為了支持模型的學(xué)習(xí)，研究團(tuán)隊(duì)構(gòu)建了一個(gè)涵蓋了通用視覺語言理解、具身智能以及自動(dòng)駕駛場景的龐大而多樣化的數(shù)據(jù)集。這些豐富多樣的多模態(tài)監(jiān)督信號，使得模型能夠從基礎(chǔ)感知能力逐步提升到復(fù)雜的推理能力。
• 強(qiáng)化學(xué)習(xí)的精細(xì)化優(yōu)化：在訓(xùn)練的最后階段，采用了 Group Relative Policy Optimization（GRPO）算法進(jìn)行強(qiáng)化學(xué)習(xí)微調(diào)。這項(xiàng)技術(shù)旨在針對復(fù)雜任務(wù)和邊緣場景，對模型的決策質(zhì)量和魯棒性進(jìn)行精細(xì)化優(yōu)化。
• 智能的推理與輸出生成：通過 LLM 強(qiáng)大的推理能力，MiMo-Embodied 能夠?qū)⒁曈X輸入與語言指令巧妙結(jié)合，生成與具體任務(wù)緊密相關(guān)的響應(yīng)和決策。這使得模型能夠勝任自動(dòng)駕駛中的路徑規(guī)劃以及具身智能中的任務(wù)執(zhí)行等多種復(fù)雜任務(wù)。

MiMo-Embodied 的創(chuàng)新脈絡(luò)

• GitHub 倉庫：https://github.com/XiaomiMiMo/MiMo-Embodied
• Hugging Face 模型庫：https://huggingface.co/XiaomiMiMo/MiMo-Embodied-7B
• arXiv 技術(shù)論文：https://arxiv.org/pdf/2511.16518

MiMo-Embodied 的廣闊應(yīng)用前景

• 賦能未來自動(dòng)駕駛：MiMo-Embodied 能夠處理各種復(fù)雜的交通環(huán)境，進(jìn)行精準(zhǔn)的環(huán)境感知、狀態(tài)預(yù)測和駕駛規(guī)劃。無論是城市街道還是高速公路，它都能為智能駕駛系統(tǒng)提供強(qiáng)大的決策支持，勾勒出自動(dòng)駕駛的美好未來。
• 驅(qū)動(dòng)機(jī)器人自主行動(dòng)：在具身智能領(lǐng)域，該模型能夠依據(jù)自然語言的指令，實(shí)現(xiàn)室內(nèi)導(dǎo)航、物體抓取等一系列操作。這使得機(jī)器人在家庭、工業(yè)等多種環(huán)境中能夠更加自主地執(zhí)行任務(wù)。
• 豐富人機(jī)交互體驗(yàn)：MiMo-Embodied 在視覺問答（VQA）任務(wù)中表現(xiàn)出色，能夠理解圖像或視頻內(nèi)容并給出準(zhǔn)確的回答，極大地提升了人機(jī)交互的效率和信息檢索的便捷性。
• 提升場景理解能力：模型能夠?qū)?fù)雜的場景進(jìn)行深度語義理解，并生成詳盡的描述。這在安防監(jiān)控、智能交通等需要場景分析的領(lǐng)域具有重要的應(yīng)用價(jià)值。
• 實(shí)現(xiàn)多模態(tài)任務(wù)的自動(dòng)化：支持圖像、視頻和文本等多種模態(tài)的輸入，MiMo-Embodied 能夠輕松應(yīng)對指令遵循、圖像標(biāo)注等跨模態(tài)任務(wù)，為智能助手和自動(dòng)化系統(tǒng)的發(fā)展注入新動(dòng)能。
• 解決復(fù)雜環(huán)境下的任務(wù)規(guī)劃難題：在充滿挑戰(zhàn)的復(fù)雜環(huán)境中，MiMo-Embodied 能夠根據(jù)指令制定多步驟的任務(wù)規(guī)劃，支持機(jī)器人高效地完成諸如清潔、烹飪等更為復(fù)雜的日常任務(wù)。