從人類示范到機(jī)器人智慧：揭開高效模仿學(xué)習(xí)的神秘面紗

詳解穹徹智能IROS 2024的最新成果RISE~

原標(biāo)題：上交大盧策吾教授團(tuán)隊(duì)博士生方泓杰：基于人類示范數(shù)據(jù)的高效機(jī)器人模仿學(xué)習(xí) | 具身智能前沿講座預(yù)告
文章來(lái)源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：3806字

基于人類示范數(shù)據(jù)的高效機(jī)器人模仿學(xué)習(xí)

近年來(lái)，機(jī)器人模仿學(xué)習(xí)技術(shù)在基于人類示范數(shù)據(jù)的領(lǐng)域取得了顯著進(jìn)展。這一進(jìn)展為機(jī)器人的操控策略提供了新的可能性，但仍面臨諸多挑戰(zhàn)，特別是在如何提高示范數(shù)據(jù)收集效率和實(shí)現(xiàn)通用操控策略方面。

1. 人類示范數(shù)據(jù)的挑戰(zhàn)

盡管模仿學(xué)習(xí)技術(shù)展現(xiàn)出巨大潛力，但在真實(shí)世界中收集有效的人類示范數(shù)據(jù)仍然是一個(gè)耗時(shí)且昂貴的過(guò)程。如何提高數(shù)據(jù)收集的效率，對(duì)發(fā)展高效的模仿學(xué)習(xí)算法至關(guān)重要。

2. RH20T數(shù)據(jù)集的發(fā)布

為此，上海交通大學(xué)盧策吾教授團(tuán)隊(duì)推出了RH20T數(shù)據(jù)集，包含超過(guò)11萬(wàn)個(gè)豐富的機(jī)器人操控軌跡。這些軌跡通過(guò)人類遙操作收集，涵蓋多種技能和場(chǎng)景，為模仿學(xué)習(xí)提供了豐富的資源。與RH20T相關(guān)的研究成果已被收錄于RSS 2023和ICRA 2024。

3. 引入低成本外骨骼系統(tǒng)

為了降低雙臂數(shù)據(jù)采集的成本，盧策吾教授團(tuán)隊(duì)與上海AI Lab聯(lián)合引入了AirExo外骨骼系統(tǒng)。該系統(tǒng)能在野外環(huán)境中高效采集雙臂操作數(shù)據(jù)，使得機(jī)器人在僅需3分鐘的遙控演示和采集的野外數(shù)據(jù)下，學(xué)習(xí)效果超越20分鐘的遙控演示。這一成果已在ICRA 2024上發(fā)表。

4. 基于3D感知的模仿學(xué)習(xí)策略RISE

穹徹智能與盧策吾教授團(tuán)隊(duì)共同提出了基于3D感知的真實(shí)世界機(jī)器人操控策略RISE。RISE通過(guò)有效提取空間信息，顯著提升了機(jī)器人在不同物置和相機(jī)視角下的泛化能力。這一策略在多個(gè)機(jī)器人操作任務(wù)中表現(xiàn)優(yōu)于傳統(tǒng)的2D和3D方法，增強(qiáng)了其在真實(shí)環(huán)境中的魯棒性，相關(guān)論文在IROS 2024上發(fā)布。

5. 高效且通用的操控策略CAGE

為進(jìn)一步提高數(shù)據(jù)利用效率，團(tuán)隊(duì)還提出了CAGE策略。該策略能夠利用僅50條單平臺(tái)單相機(jī)視角采集的數(shù)據(jù)，無(wú)需預(yù)訓(xùn)練，便可實(shí)現(xiàn)技能的遷移。這一成果為復(fù)雜環(huán)境中的機(jī)器人操控策略提供了強(qiáng)有力的支持。

總結(jié)

通過(guò)大規(guī)模數(shù)據(jù)集的發(fā)布、低成本的外骨骼系統(tǒng)以及先進(jìn)的感知技術(shù)，上海交通大學(xué)及其合作團(tuán)隊(duì)在機(jī)器人模仿學(xué)習(xí)領(lǐng)域取得了重要進(jìn)展。這些研究不僅提升了人類示范數(shù)據(jù)的利用效率，也為機(jī)器人在復(fù)雜環(huán)境中的應(yīng)用奠定了基礎(chǔ)。未來(lái)的研究將繼續(xù)致力于實(shí)現(xiàn)更加高效和通用的機(jī)器人操控策略。

聯(lián)系作者

文章來(lái)源：智猩猩GenAI
作者微信：
作者簡(jiǎn)介：智猩猩旗下矩陣賬號(hào)之一，聚焦大模型開啟的通用人工智能浪潮。