“顛覆游戲規則：哈工深的Optimus-1智能體在Minecraft長序列任務中展現驚人實力”

Optimus-1 在長序列任務中的表現超越了現有的智能體。

原標題：NeurIPS 2024 | 哈工深提出新型智能體Optimus-1，橫掃Minecraft長序列任務
文章來源：機器之心
內容字數：5688字

Optimus-1: 混合多模態記憶賦能智能體在長序列任務中的優勢

近年來，隨著人工智能技術的快速發展，基于大語言模型和多模態學習的智能體在復雜環境中的應用受到廣泛關注。本文介紹了一項由哈爾濱工業大學（深圳）和鵬城實驗室合作進行的研究，提出了一個新穎的智能體框架——Optimus-1，旨在解決現有Minecraft智能體在執行長序列任務時的局限性。

1. 現有智能體的局限性

現有的Minecraft智能體主要面臨兩個挑戰：首先，它們對結構化知識的探索不足，例如工具合成和科技樹等知識的缺乏，限制了它們的任務規劃能力；其次，智能體在多模態經驗的積累上存在缺陷，未能有效整合視覺、語言和動作等多方面的經驗，從而影響了其在復雜任務中的決策能力和適應性。

2. Optimus-1框架的設計

為了解決上述問題，Optimus-1框架結合了混合多模態記憶模塊，知識引導的規劃器，經驗驅動的反思器，以及行動控制器。框架中的混合多模態記憶模塊由摘要化多模態經驗池（AMEP）和層次化有向知識圖（HDKG）組成，前者提供歷史經驗，后者為任務規劃提供必要的知識支持。

3. 實驗與結果

本文在開放世界環境Minecraft中進行了67個長序列任務的評估，結果顯示Optimus-1在多個任務組中的成功率顯著高于先前的方法。此外，通過消融實驗驗證了知識和經驗對智能體執行長序列任務的重要性。值得注意的是，包含成功和失敗案例的反思階段能夠顯著提升任務成功率。

4. 通用性與結論

Optimus-1的設計展示了混合多模態記憶模塊的通用性，即使在使用開源多模態大模型時，其性能也能與商用模型相媲美。綜上所述，Optimus-1在長序列任務中展現了優越的性能，并為未來智能體的發展提供了新的思路和方向。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺