텍스트-이미지 모델의 공간 사전 지식을 활용한 이미지-깊이 공동 생성

한줄 요약

텍스트-이미지(T2I) 모델의 공간적 사전 지식을 활용하여 희소 깊이 데이터만으로 이미지와 깊이 맵을 공동 생성하는 간단하고 확장 가능한 방법을 제안한다.

풀어야 하는 문제

기존의 단일 이미지 깊이 추정 방법은 고품질의 조밀한 깊이 데이터가 필요하고 복잡한 학습 과정을 요구한다. 또한, T2I 모델의 공간적 사전 지식을 깊이 추정에 활용하려는 시도가 있었지만, 대부분 조밀한 깊이 데이터에 의존하고 확장성이 부족했다.

접근 방법

Modality Forcing은 각 모달리티(이미지, 깊이)에 서로 다른 노이즈 레벨을 할당하여 조건부 및 공동 생성을 가능하게 한다. 이를 통해 희소한 실제 깊이 데이터로 학습할 수 있으며, 별도의 디코더를 사용하여 각 모달리티를 처리한다. 또한, 다양한 크기의 T2I 모델(370M~3.3B 파라미터)을 처음부터 학습시켜 확장성을 검증했다.

결과·기여

제안된 방법은 기존의 이미지-깊이 공동 생성 모델 대비 AbsRel 오차를 57% 감소시켰으며, 최신 단일 이미지 깊이 추정 방법과 경쟁할 만한 성능을 달성했다. 이는 이미지 생성이 공간 인식을 위한 확장 가능한 사전 학습 목표임을 강력히 시사한다.