역방향 흐름으로 로봇 범용 정책의 행동을 개선하는 방법

한줄 요약

Flow Reversal Steering (FRS)은 범용 로봇 정책의 행동을 역방향 흐름으로 노이즈를 찾아 더 좋은 행동 모드로 매핑하여 성능을 향상시키는 방법이다.

풀어야 하는 문제

범용 로봇 정책은 다양한 데이터로 학습되지만, 어려운 새로운 작업에서 직접 명령으로는 적절한 행동을 유도하기 어렵다. 차선의 행동을 개선할 방법이 필요하다.

접근 방법

FRS는 flow matching 기반 범용 정책에서 차선의 행동을 역방향으로 통과시켜 해당하는 잠재 노이즈를 찾고, 이를 근처의 좋은 행동 모드로 매핑한다. 사람이나 VLM의 거친 의미적 안내를 구체적인 로봇 행동으로 변환한다.

결과·기여

시뮬레이션 및 실제 조작 환경에서 제로샷 제어 성능 향상, 1분 미만의 행동 클로닝으로 최대 95% 절대 성공률 향상, 강화학습 부트스트래핑을 통해 표준 RL이 실패하는 작업에서도 개선을 보였다.