LLM 추론 능력은 내부 표현의 기하학적 압축과 정보 보존에서 발생

한줄 요약

LLM의 추론 능력은 내부 표현이 저차원 다양체로 압축되고 비축퇴 정보량이 보존되는 기하학적 제약 조건에서 발생하며, 이를 레이블 없이 진단하는 방법을 제시한다.

풀어야 하는 문제

기존 LLM 추론 평가는 레이블된 벤치마크에 의존하여 내부 추론 과정의 질과 과제 성능을 혼동한다. 추론의 본질적인 동역학적 특성을 이해하고, 레이블 없이 추론 품질을 평가할 수 있는 방법이 필요하다.

접근 방법

추론 시 내부 표현의 진화를 저차원 다양체로의 압축, 표현력, 정보 보존 측면에서 분석한다. 세 가지 조건(충분한 표현력, 자발적 다양체 압축, 압축된 부분공간 내 비축퇴 정보량 보존)을 만족하는 모델만 안정적 추론을 보임을 확인하고, 내부 동역학만으로 계산되는 통합 진단법을 제안한다.

결과·기여

추론 동역학이 기하학적 및 정보적 제약에 의해 지배된다는 것을 밝히고, 벤치마크 중심 평가를 보완하는 레이블 없는 진단 프레임워크를 제공한다.