가시 표면을 넘어 폐색된 형상까지 생성하는 픽셀 정합 3D 표현

한줄 요약

World Tracing은 각 입력 픽셀에 대해 가시 표면과 폐색된 뒷면까지 포함한 정렬된 3D 점 스택을 예측하는 생성적 픽셀 정합 기하 표현법이다.

풀어야 하는 문제

기존 이미지-3D 방법은 충실도와 완전성 사이에서 트레이드오프가 있다. 깊이 추정기는 입력 픽셀에 정렬되지만 가시 표면까지만 예측하고, 이미지-3D 생성 모델은 완전한 형상을 생성하지만 입력과 정렬이 잘 안 되는 경우가 많다.

접근 방법

World Tracing은 각 입력 픽셀에 대해 카메라 공간에서 정렬된 3D 점의 순서 있는 스택을 예측한다. 첫 번째 레이어는 가시 표면, 이후 레이어는 전방에서 후방으로 폐색된 표면과의 교차점을 나타낸다. 이 표현을 위해 WT-DiT(World-Tracing Diffusion Transformer)를 설계했으며, 다중 기하 레이어를 분리된 노이즈 제거 토큰으로 처리하고 분해 주의와 전역 주의를 결합한다. 픽셀 공간 흐름 매칭과 혼합 노이즈 스케줄로 학습되어 가시 표면 재구성과 폐색 형상 생성을 균형 있게 학습한다.

결과·기여

객체, 장면, 동적 벤치마크에서 가시 표면 재구성과 완전한 형상 생성 모두에서 깊이 추정기와 이미지-3D 생성기를 능가하는 성능을 보였다. 또한 2D-3D 대응 관계를 유지하여 텍스트 기반 3D 장면 편집, 기하 조건부 새로운 시점 비디오 합성, 텍스처 메시 생성기와의 훈련 없는 통합이 가능하다.