朱玉可團(tuán)隊(duì)新作：看一眼就能模仿，大模型讓機(jī)器人輕松學(xué)會(huì)撒鹽

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：朱玉可團(tuán)隊(duì)新作：看一眼就能模仿，大模型讓機(jī)器人輕松學(xué)會(huì)撒鹽
關(guān)鍵字：物體,機(jī)器人,人形,任務(wù),人類
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：杜偉、Panda在人形機(jī)器人領(lǐng)域，有一個(gè)非常值錢(qián)的問(wèn)題：既然人形機(jī)器人的樣子與人類類似，那么它們能使用網(wǎng)絡(luò)視頻等數(shù)據(jù)進(jìn)行學(xué)習(xí)和訓(xùn)練嗎？
如果可以，那考慮到網(wǎng)絡(luò)視頻的龐大規(guī)模，機(jī)器人就再也不用擔(dān)心沒(méi)有學(xué)習(xí)資源了。
近日，德克薩斯大學(xué)奧斯汀分校和 NVIDIA Research 的朱玉可團(tuán)隊(duì)公布了他們的一篇 CoRL 2024 oral 論文，其中提出了一種名為 OKAMI 的方法，可基于單個(gè) RGB-D 視頻生成操作規(guī)劃并推斷執(zhí)行策略。論文地址：OKAMI: Teaching Humanoid Robots Manipulation Skills through Single Video Imitation
論文鏈接：https://arxiv.org/pdf/2410.11792
項(xiàng)目地址：https://ut-austin-rpl.github.io/OKAMI/
先來(lái)看看演示視頻：可以看到，機(jī)器人在看過(guò)人類演示者向袋子中裝東西后，也學(xué)會(huì)了以同樣的動(dòng)作向袋子中裝東西。不僅如此，OKAMI 還能讓人形機(jī)器人看一眼演示視頻就輕松學(xué)會(huì)撒鹽、將玩具放進(jìn)籃子和合上筆記本電腦

原文鏈接：朱玉可團(tuán)隊(duì)新作：看一眼就能模仿，大模型讓機(jī)器人輕松學(xué)會(huì)撒鹽

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：
作者簡(jiǎn)介：