Optimus-1 在長序列任務中的表現(xiàn)超越了現(xiàn)有的智能體。

原標題：NeurIPS 2024 | 哈工深提出新型智能體Optimus-1，橫掃Minecraft長序列任務
文章來源：機器之心
內(nèi)容字數(shù)：5688字

Optimus-1: 混合多模態(tài)記憶賦能智能體在長序列任務中的優(yōu)勢

近年來，隨著人工智能技術的快速發(fā)展，基于大語言模型和多模態(tài)學習的智能體在復雜環(huán)境中的應用受到廣泛關注。本文介紹了一項由哈爾濱工業(yè)大學（深圳）和鵬城實驗室合作進行的研究，提出了一個新穎的智能體框架——Optimus-1，旨在解決現(xiàn)有Minecraft智能體在執(zhí)行長序列任務時的局限性。

1. 現(xiàn)有智能體的局限性

現(xiàn)有的Minecraft智能體主要面臨兩個挑戰(zhàn)：首先，它們對結構化知識的探索不足，例如工具合成和科技樹等知識的缺乏，限制了它們的任務規(guī)劃能力；其次，智能體在多模態(tài)經(jīng)驗的積累上存在缺陷，未能有效整合視覺、語言和動作等多方面的經(jīng)驗，從而影響了其在復雜任務中的決策能力和適應性。

2. Optimus-1框架的設計

為了解決上述問題，Optimus-1框架結合了混合多模態(tài)記憶模塊，知識引導的規(guī)劃器，經(jīng)驗驅動的反思器，以及行動控制器。框架中的混合多模態(tài)記憶模塊由摘要化多模態(tài)經(jīng)驗池（AMEP）和層次化有向知識圖（HDKG）組成，前者提供歷史經(jīng)驗，后者為任務規(guī)劃提供必要的知識支持。

3. 實驗與結果

本文在開放世界環(huán)境Minecraft中進行了67個長序列任務的評估，結果顯示Optimus-1在多個任務組中的成功率顯著高于先前的方法。此外，通過消融實驗驗證了知識和經(jīng)驗對智能體執(zhí)行長序列任務的重要性。值得注意的是，包含成功和失敗案例的反思階段能夠顯著提升任務成功率。

4. 通用性與結論

Optimus-1的設計展示了混合多模態(tài)記憶模塊的通用性，即使在使用開源多模態(tài)大模型時，其性能也能與商用模型相媲美。綜上所述，Optimus-1在長序列任務中展現(xiàn)了優(yōu)越的性能，并為未來智能體的發(fā)展提供了新的思路和方向。

聯(lián)系作者

文章來源：機器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺