Gen2Act

Gen2Act是一種由谷歌、卡內基梅隆大學和斯坦福大合開發(fā)的機器人操作策略。它通過利用網(wǎng)絡視頻數(shù)據(jù)中的信息，生成與人類相似的執(zhí)行任務的視頻，從而引導機器人完成新的任務。該策略依托于海量的網(wǎng)絡視頻資源，規(guī)避了直接生成機器人視頻所帶來的復雜性。Gen2Act具備強大的泛化能力，能夠適應未見過的物體和動作，在實際應用中顯著提升了任務執(zhí)行的成功率。

Gen2Act是什么

Gen2Act是由谷歌、卡內基梅隆大學和斯坦福大學共同推出的一種機器人操作策略，基于預測網(wǎng)絡數(shù)據(jù)中的信息來生類視頻，并將視頻用在引導機器人執(zhí)行新任務。該策略利用大量可用的網(wǎng)絡視頻數(shù)據(jù)，避免了直接生成機器人視頻的復雜性。Gen2Act的核心在于零樣本的人類視頻生成，結合預訓練的視頻生成模型和少量的機器人交互數(shù)據(jù)進行策略訓練。在真實世界的應用中，Gen2Act展現(xiàn)出強大的泛化能力，能夠操作未曾見過的物體并執(zhí)行新動作，相較于其他方法，其成功率顯著提高。此外，Gen2Act支持復雜任務的長時間執(zhí)行，如連續(xù)完成“制作咖啡”等多步驟活動。這一方法減少了對大規(guī)模機器人數(shù)據(jù)采集的需求，并通過閉環(huán)策略動態(tài)調整，提高了操作的準確性。

Gen2Act的主要功能

• 零樣本視頻生成：Gen2Act可以直接利用預訓練的視頻生成模型，根據(jù)語言描述的任務和場景圖像生類執(zhí)行任務的視頻，而無需針對特定任務進行微調。
• 泛化到新任務：通過生成的人類視頻引導，Gen2Act使機器人能夠執(zhí)行在訓練數(shù)據(jù)中未出現(xiàn)過的新任務，包括操作未見過的物體和執(zhí)行新的動作。
• 閉環(huán)策略執(zhí)行：結合生成的視頻和機器人的實時觀察，Gen2Act通過閉環(huán)策略動態(tài)調整機器人的動作，以適應變化的場景，確保準確執(zhí)行任務。
• 長時任務處理：Gen2Act能夠完成單一任務，并基于任務序列的鏈接，執(zhí)行一系列復雜的長時任務，如“制作咖啡”，涉及多個步驟的連續(xù)操作。
• 減少數(shù)據(jù)需求：Gen2Act只需較少的機器人演示數(shù)據(jù)，大幅降低了數(shù)據(jù)收集的成本和工作量。

Gen2Act的技術原理

• 人類視頻生成：基于預訓練的視頻生成模型，利用語言描述的任務和場景的首幀圖像，實現(xiàn)零樣本的人類任務視頻生成。
• 視頻到動作的翻譯：通過閉環(huán)策略，將生成的人類視頻轉化為機器人的動作，策略利用視頻的視覺特征和點軌跡預測隱式編碼的信息。
• 視覺特征提取：使用ViT編碼器和Transformer編碼器從生成的視頻和機器人的觀察歷史中提取特征。
• 點軌跡預測：基于軌跡預測Transformer，預測視頻中點的軌跡，以輔助損失來訓練策略。
• 行為克隆損失：通過最小化預測動作與真實動作之間的誤差來優(yōu)化策略，從而模仿人類視頻中的行為。

Gen2Act的項目地址

• 項目官網(wǎng)：https://homangab.github.io/gen2act/
• arXiv技術論文：https://arxiv.org/pdf/2409.16283

Gen2Act的應用場景

• 家庭自動化：在家庭環(huán)境中，Gen2Act能夠控制家居設備，如開關微波爐、操作咖啡機、整理物品等，助力家庭自動化的實現(xiàn)。
• 工業(yè)自動化：在制造業(yè)中，Gen2Act可以執(zhí)行復雜的裝配任務，或在需要靈活性和適應性的環(huán)境中替代或輔助人工操作。
• 服務行業(yè)：在餐飲或零售服務中，Gen2Act可以指導機器人完成點單、上菜、整理貨架等任務。
• 醫(yī)療輔助：在醫(yī)療領域，Gen2Act有助于開發(fā)執(zhí)行精細操作的機器人，如協(xié)助手術或遞送醫(yī)療用品。
• 災難救援：在災難救援現(xiàn)場，Gen2Act能夠操控機器人在未知環(huán)境中進行搜索和救援任務。

常見問題

• Gen2Act的主要優(yōu)勢是什么？ Gen2Act的主要優(yōu)勢在于其零樣本視頻生成能力、強大的泛化能力以及通過閉環(huán)策略動態(tài)調整機器人操作的能力。
• Gen2Act能應用于哪些行業(yè)？ Gen2Act適用于家庭自動化、工業(yè)自動化、服務行業(yè)、醫(yī)療輔助以及災難救援等多個領域。
• 使用Gen2Act需要多少數(shù)據(jù)？ Gen2Act只需較少的機器人演示數(shù)據(jù)，大幅降低了數(shù)據(jù)收集的需求。