涵蓋1120個子步驟

原標題：空間智能新進展：教機器人組裝宜家家具，首次實現(xiàn)操作步驟與真實視頻對齊 | NeurIPS
文章來源：量子位
內(nèi)容字數(shù)：5668字

斯坦福團隊發(fā)布IKEA Video Manuals數(shù)據(jù)集，助力機器人家具組裝

斯坦福大學(xué)的吳佳俊教授團隊近期開發(fā)了一套名為IKEA Video Manuals的大型多模態(tài)數(shù)據(jù)集，旨在幫助機器人學(xué)習(xí)如何組裝宜家家具。這一數(shù)據(jù)集已被NeurIPS會議接收，標志著機器人在空間智能領(lǐng)域的一個重要進展。

數(shù)據(jù)集概述

IKEA Video Manuals數(shù)據(jù)集涵蓋了6大類宜家家具，共36種不同類型，每種家具均配有完整的3D模型、組裝說明書和實際組裝視頻。數(shù)據(jù)集細分為1120個具體子步驟，詳細描述了組裝過程，并通過6D Pose追蹤技術(shù)記錄了每個部件的空間軌跡。

時空信息的精細標注

該數(shù)據(jù)集基于兩個已有的數(shù)據(jù)集（IKEA-Manual和IKEA Assembly in the Wild）構(gòu)建，涵蓋了90多個不同環(huán)境下的真實組裝視頻，反映了家具組裝的多樣性。研究團隊建立了一套可靠的標注系統(tǒng)，以應(yīng)對遮擋、相似部件識別和攝像機等挑戰(zhàn)。

核心任務(wù)與評估

為了評估當前AI系統(tǒng)在家具組裝和空間推理方面的能力，團隊設(shè)計了多個核心任務(wù)，其中包括基于3D模型的分割與姿態(tài)估計、視頻目標分割和基于視頻的形狀組裝。實驗結(jié)果顯示，現(xiàn)有AI模型在真實場景中的視頻理解能力和空間推理能力仍存在不足。

研究意義與未來展望

該項目的第一作者劉雨濃表示，這項工作將組裝規(guī)劃從2D提升到了3D空間，解決了空間智能研究中的關(guān)鍵瓶頸。隨著數(shù)據(jù)集的發(fā)布，機器人將能夠更好地理解和執(zhí)行家具組裝任務(wù)，為未來的自動化家居提供了重要基礎(chǔ)。

更多信息請參考項目主頁和相關(guān)論文鏈接。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破