arXiv생성모델기법중요도 8arXiv1개월 전

어떤 입력이든 4D 콘텐츠로 생성하는 정렬 기반 프레임워크

Alignment Is All You Need For X-to-4D Generation

Qiaowei Miao, Kehan Li, Yawei Luo, Yi Yang

인용 0인기 1.4

AI 분석

임의의 모달리티(X) 입력을 받아 일관성 높은 4D 콘텐츠(비디오-3D 쌍)로 생성하는 정렬 기반 프레임워크를 제안한다.

기존의 4D 생성 방법들은 특정 모달리티에 특화되어 있거나, 다양한 사용자 정의 모달리티-to-4D 생성을 수행하기 위해 비용이 많이 드는 데이터셋 구축이 필요하며 확장성이 제한적이다.

객체 거리 정렬 (Object Distance Alignment): 비디오 정렬 객체 거리(VAOD)와 다중뷰 정렬 객체 거리(MAOD)를 탐색하여 4D 렌더링이 비디오와 다중뷰 확산 모델의 사전 학습 데이터와 일치하도록 한다.

움직임-형태 공동 정렬 (Motion-Geometry Joint Alignment): 알려진 뷰와 알려지지 않은 뷰를 비디오와 3D 입력을 동기화하여 제약함으로써 4D 생성의 일관성을 보장한다.

비동기 최적화 (Asynchronous Optimization): 가우시안 속성과 변형 네트워크 학습을 분리하여 움직임과 형태의 충실도를 향상시킨다.

새로운 X4D 벤치마크 데이터셋을 제안하고, X4D 및 Consistent4D 데이터셋에서의 실험을 통해 X-to-4D 생성에서 최신 수준의 품질과 일관성을 달성함을 입증한다.