한줄 요약
물리적 로봇 없이 생성형 월드 모델을 통해 고품질 로봇 학습 데이터를 대규모로 합성하는 디지털 텔레오퍼레이션 시스템을 제안합니다.
풀어야 하는 문제
로봇 학습을 위한 대규모多样하고 다양한 트레이젝터리 데이터 수집이 물리적 텔레오퍼레이션에 의해 심각하게 제약되어 있습니다. 이는 오퍼레이터의 시간이 특정 하드웨어 및 작업 공간에 묶이는 병목 현상을 초래합니다.
접근 방법
디지털 텔레오퍼레이션 패러다임: 물리적 로봇을 생성형 월드 모델로 대체하여 데이터 수집을 물리적 제약으로부터 분리합니다.
RynnWorld-Teleop 시스템: 깊이 인식 골격 조건화, 비디오 확산 트랜스포머에 대한 점진적 인간-로봇 학습, 스트리밍 자동회귀 증류를 통합합니다.
실시간 합성 파이프라인: 생성 과정을 단일 패스 추론으로 압축하여 단일 H100 GPU에서 40+ FPS의 실시간 대화형 생성을 가능하게 합니다.
임베던스 독립적 레이블링: 기록된 포즈 스트림은 표준 리타겟팅을 통해 대상 로봇에 전송 가능한 임베던스 독립적 행동 레이블로 사용됩니다.
결과·기여
실시간 고성능 생성: 단일 H100 GPU에서 40+ FPS의 실시간 인터랙티브 영상 생성을 달성합니다.
제로샷 시뮬레이션-실제 전이: RynnWorld-Teleop으로 생성된 데이터로만 학습된 정책이 다양한 이양 및 양손 임무에서 효과적인 제로샷 시뮬레이션-실제 전이를 달성합니다.
데이터 엔진으로서의 가치: 실제 세계 데이터셋에 디지털 텔레오퍼레이션 데이터를 보강하면 성공률이 일관되게 향상되어, 차세대 로봇 에이전트를 위한 고품질, 확장 가능한 데이터 엔진으로서의 가능성을 입증합니다.