코드 수정 에이전트의 결함 위치 탐색 및 진단을 위한 구조화된 프레임워크

한줄 요약

LLM 에이전트의 결함 위치 탐색 비용을 줄이고 진단 품질을 높여 코드 수정 성능을 향상시키는 구조화된 프레임워크입니다.

풀어야 하는 문제

저장소 수준의 코딩 작업을 해결하는 LLM 에이전트가 결함을 편집하기 전 위치 탐색에 예산의 절반을 소모합니다. 기존 위치 탐색 프레임워크는 수정 에이전트가 필요로 하는 진단 맥락 없이 단순히 파일을 검색하는 수준으로 평가되어 왔습니다.

접근 방법

SHERLOC는 미세 조정이나 멀티 에이전트 조율 없이 추론 LLM과 소형 저장소 도구를 결합하는 훈련 불필요 프레임워크입니다. 구조화된 가설 기반 탐색과 자기 복구 메커니즘을 사용하여 결함 위치를 탐색하고 관련 진단 정보를 제공합니다.

결과·기여

SHERLOC는 SWE-Bench Lite에서 84.33%의 정확도@1, SWE-Bench Verified에서 81.27%의 재현율@1을 달성하여 최첨단 성능을 보입니다. 수정 에이전트에 위치 정보와 진단 결과를 주입하면 SWE-Bench Verified에서 평균 +5.95%p의 해결률 향상을 보이며, 위치 탐색 토큰과 전체 토큰을 각각 36.7%, 23.1% 절감합니다.