LLM 추론 성능 향상을 위한 확장 가능한 Best-of-N 선택 기법

한줄 요약

Self-Certainty는 LLM의 자체 확률 분포를 기반으로 응답 품질을 평가하는 새로운 지표로, 외부 보상 모델 없이도 Best-of-N 선택을 효율적으로 확장 가능하게 한다.

풀어야 하는 문제

Best-of-N 선택은 LLM 추론 성능을 향상시키는 중요한 기법이지만, 기존 방법은 계산 비용이 큰 보상 모델에 의존하거나, 자기 일관성(self-consistency)과 같은 보상 없는 방법은 개방형 생성 과제에서 확장성과 일반화에 한계가 있다.

접근 방법

LLM이 생성한 여러 응답의 확률 분포를 집계하여 '자기 확신도(self-certainty)'를 계산한다. 이는 모델이 출력에 대해 가지는 확신의 정도를 반영하며, 높은 자기 확신도가 더 정확한 응답과 상관관계가 있다는 가설에 기반한다. 외부 보상 모델 없이 LLM 자체의 확률 정보만을 사용하므로 계산 효율성이 높다.

결과·기여

다양한 추론 과제 실험을 통해 자기 확신도가 (1) 샘플 수 N이 증가함에 따라 보상 모델처럼 효과적으로 확장되지만 계산 오버헤드는 훨씬 적고, (2) chain-of-thought와 상호 보완적이며, (3) 자기 일관성이 실패하는 개방형 과제에서도 일반화됨을 입증했다. 이는 LLM 추론 성능을 실용적이고 효율적으로 향상시키는 방법을 제공한다.