Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering
Hyun Joe Jeong, Gokul Swamy, Andrea Bajcsy
VLA 모델의 언어 명령을 최적화하고 안전하게 보정하는 프레임워크로, 기존 모델을 수정하지 않고도 성능을 크게 향상시킨다.
VLA 모델은 언어 명령에 민감하여 비슷한 지시에도 다른 행동을 보이거나, 프롬프트만으로 원하는 능력을 이끌어내기 어렵다. 사람이나 제로샷 언어 모델의 명령이 신뢰성 있게 작업을 수행하지 못하는 문제가 있다.
시뮬레이션에서 24.7%, 실제 하드웨어에서 65.0%의 성능 향상을 보였으며, 시각적/의미적 교란 상황에서도 무해성 보장을 제공한다. 또한 개방 루프 프롬프팅에서는 관찰되지 않은 회복 행동을 생성한다.