단일 이미지 3D 기하 추정을 위한 픽셀 공간 확산 트랜스포머

한줄 요약

기존의 복잡한 3D 재구성 방법의 오버헤드를 제거하고, 순수한 픽셀 공간 확산 트랜스포머로 단일 이미지 3D 기하 추정의 새로운 기준을 제시합니다.

풀어야 하는 문제

최신 단일 이미지 3D 재구성 방법들은 복잡한 하이브리드 아키텍처, 정교한 손실 함수, 또는 기하학을 잠재 공간으로 압축하는 등 구조적 오버헤드가 큽니다. 이러한 복잡성은 모델의 효율성과 해석 가능성을 저해하며, 특히 모호한 영역에서의 성능에 한계를 보일 수 있습니다.

접근 방법

단순한 비전 트랜스포머(ViT)를 기반으로 한 픽셀 공간 확산 모델(PointDiT)을 제안합니다. 모델은 원시 3D 포인트 맵 패치 위에서 직접 작동하며, 사전 학습된 DINOv3의 이미지 토큰으로 조건화됩니다. 잠재 공간 토크나이저 없이 처음부터 완전히 학습하여 아키텍처의 단순성을 유지합니다.

결과·기여

복잡한 잠재 기반 확산 모델보다 우수한 성능을 달성하면서도 하이브리드 대안보다 훨씬 단순합니다. 특히 투명 물체와 같은 고도로 모호한 영역에서 더 선명한 기하 구조를 생성하고 더 강건한 성능을 보이는 것이 주요 기여입니다. 이는 단순한 아키텍처가 효과적일 수 있음을 보여주는 사례입니다.