파노라마 캔버스에 3D 장면을 재투영하여 공간 추론

한줄 요약

OneCanvas는 여러 시점의 패치 특징을 단일 파노라마 캔버스에 재투영하여 3D 공간 추론을 가능하게 하는 방법이다.

풀어야 하는 문제

기존 VLM의 3D 장면 이해는 복잡한 기하학 인코더나 대규모 학습 비용이 필요했다. 또한, 특정 시점에서의 상황적 추론(situated reasoning)을 지원하기 어려웠다.

접근 방법

각 패치를 깊이와 카메라 포즈를 이용해 3D 세계 좌표로 역투영한 후, 캔버스 원점에서 본 경도와 위도에 해당하는 캔버스 위치에 배치한다. 중첩 뷰에 대한 래스터화나 집계는 수행하지 않는다. 패치의 미터법 좌표에 대한 3D 위치 임베딩을 추가하여 각도 좌표로 축소될 때 손실된 깊이 정보를 복원한다. 모든 프레임의 패치는 하나의 공간 좌표계를 공유하며, 백본의 주요 구조 변경 없이 사전 훈련된 VLM이 일반 이미지처럼 처리한다. 또한, 객체 패치를 3D 위치에 절차적으로 배치하여 공간 추론 작업에 대한 감독을 생성하는 사전 학습 커리큘럼을 도입한다.

결과·기여

SQA3D와 VSI-Bench에서 최고 정확도를 달성했으며, SPBench의 분포 외 데이터에도 일반화된다. 가장 강력한 경쟁 방법보다 훨씬 적은 학습 비용으로 이를 달성했다.