단일 픽셀만으로 영상 확산 모델을 활용한 6자유도 포즈 추적

한줄 요약

단일 표시 픽셀만으로 영상 확산 모델을 활용해 6자유도 포즈를 추적하는 새로운 방법을 제안한다.

풀어야 하는 문제

모노ocular 영상에서 6자유도 포즈를 추적하는 것은 오래된 컴퓨터 비전 문제이다. 기존 방법들은 3D 모델, 깊이 맵, 객체 마스크 등 영상 외의 추가 입력이 필요하며, 질감이 없거나 투명하거나 반사적이거나 변형되는 표면에서 어려움을 겪는다.

접근 방법

ProxyPose는 6자유도 포즈 추적을 영상 대 영상 변환으로 재정의한다. 첫 프레임의 단일 표시 픽셀과 입력 영상만으로, 미세 조정된 영상 확산 모델이 표면의 국소 강체 운동을 따르는 색상화된 다면체가 묘사된 합성 대리 영상으로 변환한다. 대리 영상의 기하학과 외관은 설계상 알려져 있으므로, 6자유도 궤적 복원은 기존 솔버를 사용하는 고전적 포즈 추정으로 감소한다.

결과·기여

ProxyPose는 추가 입력 없이 최첨단 6자유도 포즈 추적 정확도를 달성하며, 영상 모델은 합성 데이터로만 미세 조정된다. 또한 얼굴 추적, 카메라 포즈 추정 및 기존 접근법의 범위를 벗어나는 야생 장면으로의 확장을 보여준다.