Operads for compositional reasoning in LLMs
Nathaniel Bottman, Kyle Richardson
질문 분해 기반 LLM 추론을 오퍼라드(operad)라는 수학적 구조로 정형화하고, 오퍼라드 일관성이라는 새로운 신뢰도 지표를 제안한 이론 연구.
LLM의 다단계 추론에서 질문 분해는 널리 사용되지만, 분해 과정의 정확성과 일관성을 평가할 수 있는 수학적 토대가 부족하다. 기존의 자기일관성(self-consistency) 방법은 온도 샘플링에 의존하며 구조적 일관성을 포착하지 못한다.
오퍼라드(operad)는 여러 입력을 받아 하나의 출력을 내는 연산과 그 합성을 모델링하는 수학적 구조로, 질문 템플릿을 연산으로, 하위 답변의 합성을 연산 합성으로 대응시킨다. QA 모델을 오퍼라드 위의 대수(algebra)로 해석하고, 질문 분해 트리의 부분적 축소에 대한 답변 일관성을 측정하는 오퍼라드 일관성을 정의한다.
동반 논문(Bottman, Liu, Richardson, 2026)에서 12개 LLM과 4개 다중 홉 QA 데이터셋에 대해 오퍼라드 일관성이 정확도와 강한 상관관계를 보였으며, 온도 기반 자기일관성 기준선을 능가했다. 오퍼라드가 질문 분해의 자연스러운 수학적 기반이며, 오퍼라드 일관성 같은 불변량이 다단계 추론의 신뢰성 분석 및 개선에 새로운 방향을 제시함을 주장한다.