LLM 에이전트 런타임에서 침묵 실패를 분류한 종단 연구

한줄 요약

LLM 에이전트 런타임에서 발생하는 침묵 실패를 8주간 추적하여 5가지 메커니즘 기반 분류 체계를 제시하고, 특히 LLM이 오류를 그럴듯한 서사로 변환하는 'fail-plausible' 패턴의 위험성을 강조한다.

풀어야 하는 문제

LLM 에이전트가 장기간 자율적으로 운영되는 환경에서 오류가 사용자에게 전달되지 않고 숨겨지는 '침묵 실패'가 발생한다. 기존 테스트와 거버넌스 체계로는 이러한 실패를 효과적으로 탐지하거나 예방하지 못하며, 특히 LLM이 오류를 자연스러운 텍스트로 위장하는 경우가 가장 위험하다.

접근 방법

2026년 3월부터 운영된 개인 비서 에이전트 런타임을 대상으로 8주간 22건의 인시던트를 수집하고 전체 원인 분석을 수행했다. 각 실패를 메커니즘에 따라 5개 클래스로 분류하고, 탐지 경로, 예방 가능성, 지연 시간 등을 분석했다.

결과·기여

침묵 실패의 70%는 사용자 관찰을 통해 발견되었으며, 사후 감사는 0%의 사전 예방 효과를 보였지만 87%의 회귀 방지 효과를 보였다. 실패 지연 시간은 코드 복잡성이 아닌 실패 메커니즘에 의해 결정되었으며, 가장 오래 지속된 실패는 컴포넌트 간 경계에서 발생했다. 5클래스 분류 체계와 방어 프레임워크를 제시하고, 모든 포스트모템과 아티팩트를 공개했다.