단일 이미지로 일반 카메라와 360도 파노라마 모두에 정확한 거리 추정

한줄 요약

DepthMaster는 원근 이미지와 360도 파노라마 이미지 모두에 대해 일반화된 미터법 깊이 추정을 수행하는 통합 프레임워크이다.

풀어야 하는 문제

기존 단안 깊이 추정 방법은 특정 카메라 유형(원근 또는 파노라마)에 특화되어 있어 두 유형 모두에서 정확한 미터법 깊이를 일반화하기 어렵다. 이는 원근과 파노라마 카메라 간의 기하학적 차이와 미터법 주석이 있는 파노라마 훈련 데이터의 부족 때문이다.

접근 방법

DepthMaster는 파노라마 이미지를 겹치는 원근 패치로 분해하여 각 패치를 표준 Transformer 백본으로 처리한다. 새로운 대응 일관성 손실(CCL)과 가상 투영 카메라를 기하학적 사전 정보로 주입하여 패치를 매끄럽게 연결하고, 특수 연산자 없이 표준 아키텍처를 유지한다. 또한, 방대한 원근 데이터셋의 강력한 미터법 사전 정보를 활용하여 데이터 부족 문제를 우회한다.

결과·기여

단일 파노라마 데이터셋만 포함한 혼합 데이터로 훈련된 DepthMaster는 13개 다양한 데이터셋에서 최고 수준의 제로샷 성능을 달성했으며, 원근 및 파노라마 영역 모두에서 범용 방법뿐만 아니라 전문 모델도 능가한다.