Towards Reasoning Era: A Survey of Long Chain-of-Thought for Reasoning Large Language Models
Qiguang Chen, Libo Qin, Jinhao Liu, Dengyun Peng, Jiannan Guan, Peng Wang, Mengkang Hu, Yuhang Zhou 외
긴 사고 사슬(Long CoT) 기반 추론 LLM의 특성, 현상, 과제를 체계적으로 정리한 최초의 종합 서베이 논문.
기존 Short CoT는 복잡한 추론 문제 해결에 한계가 있으며, Long CoT에 대한 체계적인 이해와 분류 체계가 부재함. 또한 과잉 사고(overthinking)와 추론 시간 스케일링(inference-time scaling) 같은 현상에 대한 논란이 있음.
Long CoT와 Short CoT를 명확히 구분하고, 현재 추론 패러다임을 분류하는 새로운 체계를 제안함. Long CoT의 핵심 특성(깊은 추론, 광범위한 탐색, 실행 가능한 반성)을 도출하고, 과잉 사고와 추론 시간 스케일링 현상을 분석함.
Long CoT에 대한 통일된 관점을 제공하고, 향후 연구 방향(멀티모달 추론, 효율성 개선, 지식 프레임워크 강화)을 제시함. 이는 추론 LLM 분야의 연구자들에게 중요한 참고 자료가 될 것으로 기대됨.