ASAP

ASAP – 卡內基梅隆大合英偉達推出的模擬與真實物理對齊框架

ASAP（Aligning Simulation and Real Physics）是由卡內基梅隆大學與英偉達聯合開發的一種創新框架，旨在解決仿人機器人在模擬與現實環境中動力學不匹配的問題。該框架包括兩個主要階段：預訓練和后訓練。通過在模擬環境中學習策略，并利用人類數據生成目標動作，ASAP能夠有效地提高仿人機器人的靈活性和協調性，降低跟蹤的誤差，從而實現從虛擬環境到現實世界的高效技能遷移。

ASAP是什么

ASAP（Aligning Simulation and Real Physics）是卡內基梅隆大學與英偉達聯合推出的一種兩階段框架，旨在解決仿人機器人在模擬與現實動力學不一致的問題。該框架首先在模擬環境中預訓練跟蹤策略，通過使用人類數據生成目標動作。隨后在后訓練階段，ASAP收集真實世界的數據，訓練Delta動作模型以補償模擬與現實之間的動力學差異，并通過微調策略使其適應真實物理環境。這一框架顯著提升了仿人機器人在復雜動作中的敏捷性和全身協調能力，降低了跟蹤誤差，為開發更靈活、表現力更強的仿人機器人開辟了新的技術路徑。

ASAP

ASAP的主要功能

高效的全身技能遷移：將模擬環境中訓練的控制策略順利遷移到實際機器人上，使其能夠執行復雜的全身動作，如跳躍、平衡和快速轉身等。
動力學補償與適應能力：通過學習Delta動作模型，自動調整模擬與現實之間的動力學差異，包括硬件特性、摩擦力和慣性參數，從而讓機器人在真實環境中實現與模擬中相似的表現。
提升跟蹤精度：顯著減少機器人在執行任務時的跟蹤誤差，提升動作的準確性與穩定性，讓其在復雜動態任務中保持良好的性能。
增強泛化能力：框架不僅適用于特定的預訓練，還能有效適應未見過的動作（即“超出分布”），提高機器人在真實環境中的泛化能力。

ASAP的技術原理

預訓練階段（Pre-training）：
- 數據生成：從人類視頻提取動作數據，并將其重新映射到機器人模型，生成用于訓練的數據集。
- 跟蹤策略訓練：在模擬環境中應用強化學習（Reinforcement Learning， RL）來訓練跟蹤策略，使機器人能夠有效跟蹤預設的動作軌跡。該策略基于時間相位變量訓練，以適應不同長度的動作序列。
后訓練階段（Post-training）：
- 真實世界數據收集：將預訓練的策略應用到實際機器人上，收集在執行任務時的關節位置、速度和加速度等數據。
- Delta動作模型訓練：根據收集到的真實世界數據，訓練Delta動作模型，旨在最小化模擬狀態與真實狀態之間的差距，從而學習如何補償動力學不匹配。具體來說，該模型輸出“修正動作”（delta action），以調整原始動作，從而優化模擬環境的動力學特性。
- 策略微調：將訓練好的Delta動作模型集成到模擬器中，并對預訓練的跟蹤策略進行微調。基于修正后的模擬環境繼續進行訓練，使策略更好地適應真實世界的物理特性，提升在實際機器人上的表現。