Optimus-1 在長(zhǎng)序列任務(wù)中的表現(xiàn)超越了現(xiàn)有的智能體。

原標(biāo)題：NeurIPS 2024 | 哈工深提出新型智能體Optimus-1，橫掃Minecraft長(zhǎng)序列任務(wù)
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：5688字

Optimus-1: 混合多模態(tài)記憶賦能智能體在長(zhǎng)序列任務(wù)中的優(yōu)勢(shì)

近年來(lái)，隨著人工智能技術(shù)的快速發(fā)展，基于大語(yǔ)言模型和多模態(tài)學(xué)習(xí)的智能體在復(fù)雜環(huán)境中的應(yīng)用受到廣泛關(guān)注。本文介紹了一項(xiàng)由哈爾濱工業(yè)大學(xué)（深圳）和鵬城實(shí)驗(yàn)室合作進(jìn)行的研究，提出了一個(gè)新穎的智能體框架——Optimus-1，旨在解決現(xiàn)有Minecraft智能體在執(zhí)行長(zhǎng)序列任務(wù)時(shí)的局限性。

1. 現(xiàn)有智能體的局限性

現(xiàn)有的Minecraft智能體主要面臨兩個(gè)挑戰(zhàn)：首先，它們對(duì)結(jié)構(gòu)化知識(shí)的探索不足，例如工具合成和科技樹(shù)等知識(shí)的缺乏，限制了它們的任務(wù)規(guī)劃能力；其次，智能體在多模態(tài)經(jīng)驗(yàn)的積累上存在缺陷，未能有效整合視覺(jué)、語(yǔ)言和動(dòng)作等多方面的經(jīng)驗(yàn)，從而影響了其在復(fù)雜任務(wù)中的決策能力和適應(yīng)性。

2. Optimus-1框架的設(shè)計(jì)

為了解決上述問(wèn)題，Optimus-1框架結(jié)合了混合多模態(tài)記憶模塊，知識(shí)引導(dǎo)的規(guī)劃器，經(jīng)驗(yàn)驅(qū)動(dòng)的反思器，以及行動(dòng)控制器。框架中的混合多模態(tài)記憶模塊由摘要化多模態(tài)經(jīng)驗(yàn)池（AMEP）和層次化有向知識(shí)圖（HDKG）組成，前者提供歷史經(jīng)驗(yàn)，后者為任務(wù)規(guī)劃提供必要的知識(shí)支持。

3. 實(shí)驗(yàn)與結(jié)果

本文在開(kāi)放世界環(huán)境Minecraft中進(jìn)行了67個(gè)長(zhǎng)序列任務(wù)的評(píng)估，結(jié)果顯示Optimus-1在多個(gè)任務(wù)組中的成功率顯著高于先前的方法。此外，通過(guò)消融實(shí)驗(yàn)驗(yàn)證了知識(shí)和經(jīng)驗(yàn)對(duì)智能體執(zhí)行長(zhǎng)序列任務(wù)的重要性。值得注意的是，包含成功和失敗案例的反思階段能夠顯著提升任務(wù)成功率。

4. 通用性與結(jié)論

Optimus-1的設(shè)計(jì)展示了混合多模態(tài)記憶模塊的通用性，即使在使用開(kāi)源多模態(tài)大模型時(shí)，其性能也能與商用模型相媲美。綜上所述，Optimus-1在長(zhǎng)序列任務(wù)中展現(xiàn)了優(yōu)越的性能，并為未來(lái)智能體的發(fā)展提供了新的思路和方向。

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：
作者簡(jiǎn)介：專(zhuān)業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)