本文將介紹如何通過偏好對齊來泛化機(jī)器人策略。

原標(biāo)題：把RLHF帶給VLA模型！通過偏好對齊來優(yōu)化機(jī)器人策略，代碼已開源
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：4186字

GRAPE: 提升機(jī)器人策略泛化能力的偏好對齊框架

本文介紹了機(jī)器之心AIxiv專欄報道的最新研究成果——GRAPE (Generalizing Robot Policy via Preference Alignment) 框架。該研究由北卡羅來納大學(xué)教堂山分校張子健等學(xué)者完成，旨在解決視覺-語言-動作(VLA)模型在機(jī)器人任務(wù)中泛化能力不足的問題。

1. 研究背景與問題

現(xiàn)有的VLA模型通常依賴于對成功執(zhí)行軌跡的行為克隆，導(dǎo)致其在面對新任務(wù)時泛化能力較差。此外，微調(diào)方法帶來的分布偏差也限制了模型對多樣化操作目標(biāo)（例如效率、安全性）的適應(yīng)能力。

2. GRAPE框架及其優(yōu)勢

GRAPE是一個即插即用的算法，通過偏好對齊來提升VLA模型的泛化能力，并支持將模型對齊到任意設(shè)定的目標(biāo)。它具有以下三大優(yōu)勢：

1. 軌跡級強(qiáng)化學(xué)習(xí)對齊：GRAPE在軌跡層面利用強(qiáng)化學(xué)習(xí)目標(biāo)對VLA模型進(jìn)行對齊，賦予模型全局決策能力，而非簡單的行為克隆。
2. 隱式獎勵建模：GRAPE隱式建模了成功和失敗嘗試中的獎勵，提升了對多樣化任務(wù)的泛化能力。
3. 可擴(kuò)展的偏好合成算法：GRAPE采用可擴(kuò)展的偏好合成算法，通過對軌跡進(jìn)行排序，將VLA模型對齊到指定目標(biāo)。

GRAPE框架包含三個主要部分：軌跡級偏好優(yōu)化(Trajectory-wise Preference Optimization,TPO)、定制化偏好合成(Customized Preference Synthesis)和迭代式在線對齊(Iterative Online Alignment)。TPO通過改進(jìn)的DPO損失函數(shù)(TPO_Loss)進(jìn)行軌跡級別偏好學(xué)習(xí)；定制化偏好合成則利用大型視覺-語言模型分解復(fù)雜任務(wù)，自動引導(dǎo)偏好建模過程；迭代式在線對齊則通過循環(huán)迭代不斷優(yōu)化對齊過程。

3. 實驗結(jié)果與分析

研究人員在真機(jī)和仿真環(huán)境下對GRAPE進(jìn)行了評估。真機(jī)實驗涵蓋了五種分布外泛化(OOD)任務(wù)，結(jié)果顯示GRAPE相較于OpenVLA-SFT模型取得了顯著提升(20.7%~26.7%)。仿真實驗也驗證了GRAPE在面對不同OOD任務(wù)時的優(yōu)越性能(8.0%~19.0%)。

此外，實驗還表明GRAPE能夠有效地將機(jī)器人策略與多種目標(biāo)（如安全性、效率）對齊，例如，在追求安全性的目標(biāo)下，碰撞率降低了44.31%；在追求效率的目標(biāo)下，執(zhí)行軌跡長度縮短了11.15%。

4. 結(jié)論

GRAPE框架是一種即插即用的VLA模型對齊方法，能夠顯著提升機(jī)器人策略的泛化能力，并支持對齊到任意指定目標(biāo)，在多種機(jī)器人任務(wù)場景下均有應(yīng)用潛力。

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺