How Anthropic trained Fable 5 => by analysing its reasoning traces
앤트로픽의 페이블 5 모델은 추론 과정을 분석해 훈련되었으며, 간단한 수학 문제에서도 복잡한 탐색을 보였다. 이는 모델이 사이버 보안 작업에서는 효율적이지만, 수학적 추론에서는 비효율적인 탐색 패턴을 보이는 이유를 설명한다.
앤트로픽이 자사 모델 페이블 5의 추론 과정을 분석하여 훈련하는 방법을 공개했다. 페이블 5는 간단한 Summle 퍼즐(1,1,6,12,50,100으로 397 만들기)을 푸는 과정에서 약 6만 토큰의 탐욕적 깊이 우선 탐색을 수행한 후, 체계적인 분할 탐색으로 전환해 해결했다.
페이블 5는 사이버 보안 작업(정찰→CVE→익스플로잇→권한상승→측면이동→탈취)에서 뛰어난 성능을 보였지만, 수학적 추론(소수 확인→분할→재귀→메모이제이션)에서는 비효율적인 탐색을 보였다. 이는 모델이 사전 학습 코퍼스에서 수천 번 등장하는 표준적인 킬 체인(분기 계수 ~1)은 암기하지만, 수학적 추론처럼 다양한 분기를 가진 문제는 체계적으로 탐색하지 못하기 때문이다.
이 분석은 앤트로픽이 모델의 추론 과정을 분석해 훈련 데이터를 개선하는 접근법을 취하고 있음을 시사한다. 모델이 특정 도메인에서는 효율적이지만, 일반적인 추론 능력은 여전히 부족함을 보여준다. 이는 향후 모델 훈련에서 추론 과정의 다양성과 효율성을 높이는 방향으로 발전할 가능성을 암시한다.