반복적 잠재 상태 개선으로 고효율 월드 모델링

한줄 요약

LoopWM은 파라미터를 공유하는 단일 트랜스포머 블록을 반복적으로 적용하여 잠재 상태를 개선하는 루프 아키텍처로, 기존 월드 모델 대비 최대 100배의 파라미터 효율을 달성하고 예측 복잡도에 따라 계산 깊이를 자동 조절한다.

풀어야 하는 문제

기존 월드 모델은 장기 시뮬레이션의 정확성을 위해 깊은 네트워크가 필요하지만, 깊은 모델은 배포 비용이 높고 오류가 누적되는 문제가 있다. 파라미터 효율성과 적응형 계산 깊이를 동시에 해결해야 한다.

접근 방법

단일 트랜스포머 블록의 파라미터를 공유하며 반복적으로 잠재 상태를 업데이트하는 루프 구조를 도입한다. 각 반복 단계에서 상태가 개선되며, 필요한 반복 횟수는 예측의 복잡도에 따라 자동으로 결정된다. 이는 모델 크기나 학습 데이터 양을 늘리는 것과 직교하는 새로운 스케일링 축을 제공한다.

결과·기여

기존 방법 대비 최대 100배의 파라미터 효율을 달성하였으며, 적응형 계산으로 다양한 복잡도의 예측을 효율적으로 처리한다. 루프 아키텍처를 월드 모델링에 최초로 도입하여 반복적 잠재 깊이를 새로운 스케일링 축으로 제시하였다.