Hallucination in World Models is Predictable and Preventable
Nicklas Hansen, Xiaolong Wang
월드모델의 환각은 데이터 커버리지 부족에서 비롯되며, 이를 예측하는 신호로 예방할 수 있음을 보인다.
현대의 시각적 월드모델은 사실적으로 보이는 미래를 생성하지만, 실제 역학에서 벗어나는 환각을 자주 일으킨다. 이 환각이 어디서, 왜 발생하는지 이해하고 예방하는 것이 핵심 과제다.
환각이 데이터 커버리지 문제임을 밝히고, 동일한 신호로 탐지와 완화가 가능함을 입증한다. 제안된 방법은 최소 50개의 실제 환경 트래젝토리로 사전 훈련된 모델을 새로운 환경에 적응시키는 데 효과적이다.