從文字模型到世界模型！Meta新研究讓AI Agent理解物理世界

AIGC動態歡迎閱讀

原標題：從文字模型到世界模型！Meta新研究讓AI Agent理解物理世界
關鍵字：問題,模型,世界,基準,詞匯
文章來源：新智元
內容字數：4096字

內容摘要：

新智元報道編輯：Mindy
【新智元導讀】Meta新發布的開放詞匯體驗問答（OpenEQA）基準，旨在衡量AI Agent對物理空間的理解能力，但目前AI Agent的水平還是無法與人類媲美。LLM已經可以理解文本和圖片了，也能夠根據它們的歷史知識回答各種問題，但它們或許對周圍世界當前發生的事情一無所知。
現在LLMs也開始逐步學習理解3D物理空間，通過增強LLMs的「看到」世界的能力，人們可以開發新的應用，在更多場景去獲取LLMs的幫助。
AI Agent，比如機器人或是智能眼鏡，它們可以通過感知和理解環境來回答一些開放性問題，比如「我把鑰匙放哪里了？」
這樣的AI Agent需要利用視覺等感知模式來理解其周圍環境，并能夠用清晰的日常語言有效地與人交流。
這類似于構建一個「世界模型」，即AI Agent可以對外部世界產生它自己的內部理解方法，并能夠讓人類通過語言查詢。
這是一個長期的愿景和一個有挑戰的領域，也是實現人工通用智能的重要一步。
Meta的新研究OpenEQA（Embodied Question Answering）框架，即開放詞匯體驗問答框架，為我們探索這個領域提供了新

原文鏈接：從文字模型到世界模型！Meta新研究讓AI Agent理解物理世界

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。