지속적 동적 메모리로 제어 가능한 월드 시뮬레이터 구축

한줄 요약

LLM을 활용해 3D 궤적과 카메라 움직임을 조율하고, 이를 비디오 생성의 제어 신호로 사용하여 지속적 동적 메모리와 무제한 뷰포인트 탐색이 가능한 월드 시뮬레이터를 구축한다.

풀어야 하는 문제

기존 월드 모델들은 물리적 역학과 픽셀 렌더링을 얽어매고, 동작 지속을 위해 연속적인 시각 관찰에 의존한다. 이는 복잡한 장기 사건 합성 시 제어 가능성과 동적 객체의 시각적 정체성 유지에 한계를 초래한다.

접근 방법

LLM을 사용해 3D 궤적과 카메라 움직임을 조율하고, 이를 비디오 생성 모델의 제어 신호로 활용한다. 시맨틱 움직임 조율과 비주얼 생성을 명시적으로 분리하여 물리적 논리와 외형 안정성을 확보한다.

결과·기여

복잡하고 확장된 사건의 합성을 전례 없는 수준의 제어 가능성과 지속적 동적 객체 메모리로 지원함을 실험적으로 입증한다. 동적 개체의 시각적 정체성을 장기간 화면 밖에 있다가 다시 등장해도 정확히 유지하는 데 성공한다.