Latent Semantic Manifolds in Large Language Models
M. Mabrok
LLM의 은닉 상태 공간을 리만 다양체로 모델링하고, 토큰 이산화가 유발하는 의미 왜곡을 정량화하는 수학적 이론을 제시하며, 다양한 모델에서 보편적인 기하학적 패턴을 실험적으로 확인했다.
LLM은 내부적으로 연속적인 벡터 공간에서 계산을 수행하지만 최종 출력은 이산적인 토큰이다. 이러한 연속-이산 불일치가 표현 공간의 기하학적 구조에 어떤 영향을 미치는지, 그리고 이로 인한 정보 손실을 어떻게 정량화할 수 있는지가 핵심 문제이다.
저자들은 LLM의 은닉 상태를 피셔 정보 메트릭을 갖춘 리만 부분다양체인 '잠재 의미 다양체' 상의 점으로 해석한다. 각 토큰은 다양체를 분할하는 보로노이 영역에 대응된다. 어휘 이산화로 인한 의미 왜곡을 측정하는 '표현 격차'를 정의하고, 유한 어휘에 대한 왜곡의 하한(율-왜곡 하한)과 표현 격차의 선형 부피 스케일링 법칙을 수학적으로 증명했다.
6개의 트랜스포머 아키텍처(124M~1.5B 파라미터)에서 이론적 예측을 검증했다. 내재 차원이 인코더와 디코더에서 높고 중간 층에서 낮은 모래시계 프로필을 보였으며, 곡률 구조가 매끄럽고 표현 격차가 기울기 0.87~1.12(R²>0.985)로 선형 스케일링됨을 확인했다. 또한 모델 규모에 무관하게 경계 근처에 존재하는 '단단한 핵' 표현들이 퍼플렉서티의 기하학적 분해를 제공한다. 이 연구는 아키텍처 설계, 모델 압축, 디코딩 전략, 스케일링 법칙에 대한 시사점을 제공한다.