환경 엔지니어링으로 자율 과학 발견을 가능하게 하는 에이전트 시스템

한줄 요약

LLM 에이전트의 자율 과학 발견 성능을 높이기 위해 환경 엔지니어링을 핵심으로 하는 EurekAgent 시스템을 제안, 여러 태스크에서 SOTA 달성.

풀어야 하는 문제

LLM 기반 에이전트가 과학적 발견을 자율적으로 수행할 때, 단순히 워크플로우를 개선하는 것만으로는 한계가 있으며, 에이전트가 상호작용하는 환경(리소스, 제약, 인터페이스)의 설계가 더 중요한 병목이 된다. 특히 보상 해킹, 비효율적 탐색, 인간 감독의 마찰 등이 문제.

접근 방법

환경 엔지니어링을 네 가지 차원으로 체계화: (1) 권한 엔지니어링: 에이전트 실행을 제한하고 평가를 격리, (2) 아티팩트 엔지니어링: 파일시스템과 Git 기반 협업 지원, (3) 예산 엔지니어링: 예산 인식 탐색으로 비용 효율성 확보, (4) 인간 개입 엔지니어링: 쉬운 감독과 개입 인터페이스 제공. 이를 통해 에이전트가 생산적 행동(개방형 탐색, 체계적 아티팩트 관리, 협업)을 하도록 유도하고 유해 행동(보상 해킹, 과도한 인간 개입)을 억제.

결과·기여

수학, 커널 엔지니어링, 머신러닝 태스크에서 SOTA 달성. 특히 26-원 패킹 문제에서 11달러 미만의 API 비용으로 새로운 SOTA 결과를 발견. 환경 엔지니어링을 자율 연구 에이전트의 핵심 연구 방향으로 제안하고 코드와 결과를 오픈소스로 공개.