哈工大聯(lián)合鵬城實(shí)驗(yàn)室推出的智能體框架

產(chǎn)品名稱(chēng)：Optimus-1
產(chǎn)品簡(jiǎn)介：Optimus-1是哈爾濱工業(yè)大學(xué)（深圳）和鵬城實(shí)驗(yàn)室推出的智能體框架，能解決在開(kāi)放世界環(huán)境中完成長(zhǎng)期任務(wù)的挑戰(zhàn)。框架結(jié)合結(jié)構(gòu)化知識(shí)和多模態(tài)經(jīng)驗(yàn)，讓智能體更好地執(zhí)行復(fù)雜任務(wù)。
詳細(xì)介紹：

Optimus-1是什么

Optimus-1是哈爾濱工業(yè)大學(xué)（深圳）和鵬城實(shí)驗(yàn)室推出的智能體框架，能解決在開(kāi)放世界環(huán)境中完成長(zhǎng)期任務(wù)的挑戰(zhàn)。框架結(jié)合結(jié)構(gòu)化知識(shí)和多模態(tài)經(jīng)驗(yàn)，讓智能體更好地執(zhí)行復(fù)雜任務(wù)。Optimus-1包含混合多模態(tài)記憶模塊，由分層有向知識(shí)圖（HDKG）和抽象多模態(tài)經(jīng)驗(yàn)池（AMEP）組成，知識(shí)引導(dǎo)規(guī)劃器和經(jīng)驗(yàn)驅(qū)動(dòng)反射器，顯著提升在Minecraft等環(huán)境中的長(zhǎng)期任務(wù)性能，接近人類(lèi)水平。

Optimus-1的主要功能

• 知識(shí)引導(dǎo)規(guī)劃（Knowledge-Guided Planner）：基于結(jié)構(gòu)化知識(shí)（HDKG）生成可執(zhí)行的子目標(biāo)序列，規(guī)劃和執(zhí)行長(zhǎng)期任務(wù)。
• 經(jīng)驗(yàn)驅(qū)動(dòng)反思（Experience-Driven Reflector）：基于歷史經(jīng)驗(yàn)（AMEP）評(píng)估當(dāng)前任務(wù)狀態(tài)，在必要時(shí)調(diào)整行動(dòng)計(jì)劃。
• 行動(dòng)控制（Action Controller）：執(zhí)行由規(guī)劃器產(chǎn)生的子目標(biāo)，與環(huán)境互動(dòng)以完成任務(wù)。
• 混合多模態(tài)記憶（Hybrid Multimodal Memory）：結(jié)合HDKG和AMEP，存儲(chǔ)和利用世界知識(shí)和歷史經(jīng)驗(yàn)，支持復(fù)雜決策和適應(yīng)性學(xué)習(xí)。
• 自我進(jìn)化（Self-Evolution）：基于“探索-教師指導(dǎo)”方法，無(wú)需參數(shù)更新能逐步提升記憶容量和任務(wù)執(zhí)行能力。

Optimus-1的技術(shù)原理

• 分層有向知識(shí)圖（HDKG）：
  • 將世界知識(shí)（如物品合成規(guī)則）轉(zhuǎn)化為圖結(jié)構(gòu)，節(jié)點(diǎn)代表對(duì)象，邊代表對(duì)象間的關(guān)系（如合成關(guān)系）。
  • 基于圖檢索和拓?fù)渑判颍瑸橹悄荏w提供完成任務(wù)所需的材料和工具的知識(shí)。
• 抽象多模態(tài)經(jīng)驗(yàn)池（AMEP）：
  • 動(dòng)態(tài)總結(jié)和存儲(chǔ)任務(wù)執(zhí)行過(guò)程中的多模態(tài)信息（如環(huán)境、狀態(tài)、計(jì)劃、視覺(jué)幀等）。
  • 用MineCLIP模型計(jì)算視覺(jué)和子目標(biāo)的相似性，存儲(chǔ)相關(guān)性強(qiáng)的視覺(jué)記憶，為反思提供參考。
• 知識(shí)引導(dǎo)規(guī)劃器：結(jié)合視覺(jué)觀察和HDKG中的知識(shí)，生成合理的子目標(biāo)序列，指導(dǎo)行動(dòng)控制器的行動(dòng)。
• 經(jīng)驗(yàn)驅(qū)動(dòng)反思器：定期激活，從AMEP中檢索與當(dāng)前子目標(biāo)相關(guān)的多模態(tài)經(jīng)驗(yàn)，評(píng)估當(dāng)前任務(wù)狀態(tài)，決定是繼續(xù)執(zhí)行、完成還是需要重新規(guī)劃。
• 行動(dòng)控制器：根據(jù)子目標(biāo)和當(dāng)前觀察，生成與環(huán)境互動(dòng)所需的低級(jí)行動(dòng)，如鼠標(biāo)和鍵盤(pán)操作。

Optimus-1的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：cybertronagent.github.io/Optimus-1
• GitHub倉(cāng)庫(kù)：https://github.com/JiuTian-VL/Optimus-1
• arXiv技術(shù)論文：https://arxiv.org/pdf/2408.03615

Optimus-1的應(yīng)用場(chǎng)景

• 游戲環(huán)境自動(dòng)化：在復(fù)雜的游戲環(huán)境中，如Minecraft，Optimus-1自動(dòng)化執(zhí)行資源收集、建筑建造和探索等任務(wù)，提供沉浸式游戲體驗(yàn)。
• 虛擬個(gè)人助理：在虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)應(yīng)用中，可以作為用戶的個(gè)人助理，幫助管理日程、提供信息查詢(xún)服務(wù)，和自動(dòng)化處理日常任務(wù)。
• 家庭機(jī)器人助手：在智能家居系統(tǒng)中，指導(dǎo)家庭服務(wù)機(jī)器人執(zhí)行清潔、安全監(jiān)控和日常維護(hù)等長(zhǎng)期任務(wù)，提高家居自動(dòng)化水平。
• 工業(yè)自動(dòng)化與優(yōu)化：在工業(yè)制造領(lǐng)域，優(yōu)化生產(chǎn)流程，指導(dǎo)機(jī)器人自動(dòng)完成復(fù)雜的裝配線任務(wù)，提高生產(chǎn)效率和安全性。
• 模擬訓(xùn)練與教育：在軍事訓(xùn)練或醫(yī)療教育中，創(chuàng)建復(fù)雜的模擬環(huán)境，幫助學(xué)員模擬實(shí)踐學(xué)習(xí)決策和操作技能。