LLM이 범주를 대표하는 전형적 장소를 생성하는지 실험

한줄 요약

자기회귀 LLM이 지리적 범주에 대해 전형적 장소(프로토타입)를 생성하는지 조사한 연구.

풀어야 하는 문제

인간은 범주를 전형성(prototypicality)에 따라 등급화하여 인식하지만, LLM도 유사한 방식으로 범주를 내부적으로 표현하는지 알려져 있지 않다. 또한 LLM 출력의 다양성 부족이 이러한 등급화된 내부 표현에서 비롯될 수 있다는 점을 간과해 왔다.

접근 방법

인지심리학의 범주 생성 실험(category production)을 차용하여, 11개 자기회귀 LLM에 297개 지리적 범주(예: '도시', '강')에 대한 전형적 장소를 생성하도록 프롬프트했다. 생성된 범주 규범(category norms)을 분석하여 개별 모델 및 모델 간 등급 구조를 파악하고, 프로토타입 이론의 관점에서 다양성 부족을 설명했다.

결과·기여

다양한 샘플링 온도, 지리적 범주, 모델에 걸쳐 공유되는 전형적 장소가 강하게 존재함을 발견했다. LLM 출력의 지리적 다양성 부족을 프로토타입 이론으로 설명할 수 있음을 보여주었으며, 이는 LLM의 편향 연구에 새로운 이론적 렌즈를 제공한다.