Can LLMs Beat Classical Hyperparameter Optimization Algorithms?
연구진은 LLM 에이전트가 하이퍼파라미터 최적화(HPO)에서 고전 알고리즘(CMA-ES, TPE)과 경쟁할 수 있는지 평가했다. 고정 탐색 공간에서는 고전 방법이 우세했지만, LLM이 코드를 직접 편집하도록 허용하면 격차가 좁혀졌다. 하이브리드 방법 Centaur는 두 접근법의 장점을 결합해 최고 성능을 달성했다.
LLM 기반 에이전트가 하이퍼파라미터 최적화(HPO)에서 고전 알고리즘(CMA-ES, TPE)을 능가할 수 있는지 체계적으로 비교한 연구가 발표되었다. 연구진은 autoresearch 저장소를 활용해 LLM이 학습 코드를 직접 편집하며 하이퍼파라미터를 튜닝하도록 했다.
HPO는 머신러닝 모델 성능에 중요한 요소로, 그리드 서치, 랜덤 서치, 베이지안 최적화 등 다양한 방법이 존재한다. 최근 LLM의 코드 생성 능력이 주목받으면서, LLM이 HPO를 대체할 수 있을지에 대한 관심이 높아졌다.
고정 탐색 공간에서는 고전 방법이 여전히 강력하지만, LLM이 코드 편집을 통해 탐색 공간을 유연하게 조정할 수 있다는 점이 확인되었다. 하이브리드 접근법 Centaur는 두 접근법의 장점을 결합해 최고 성능을 보였으며, 이는 LLM이 고전 최적화기를 완전히 대체하기보다 보완하는 역할이 적절함을 시사한다.
댓글들은 논문의 핵심 주장이 LLM과 고전적 하이퍼파라미터 최적화의 결합이 단독 사용보다 낫다는 점에 동의하며, 실제 연구 사례(예: AI-PROPELLER)와 개인 경험을 통해 이를 뒷받침하고 있다. 일부 사용자는 특정 예산이나 HPC 코드 튜닝 영역에서 LLM이 고전적 최적화기를 능가할 수 있다는 연구 결과를 공유했지만, 다른 이들은 LLM이 훈련 데이터의 한계로 인해 최적의 알고리즘을 제안하지 못하는 경우도 있다고 지적했다. 전반적으로 '센타우르 접근법'에 대한 관심이 높으며, 이를 구현하기 위한 구체적인 도구(예: pycma)와 방법론이 논의되었다.