LLM 에이전트 메모리 오염 공격을 탐지하는 포렌식 궤적 서명

한줄 요약

LLM 에이전트의 메모리 오염 공격을 탐지하기 위해 도구 호출 로그에서 나타나는 고유한 행동 패턴(궤적 서명)을 발견하고 검증한 연구입니다.

풀어야 하는 문제

LLM 에이전트의 장기 기억(메모리)을 오염시켜 정보를 탈취하는 공격이 가능해졌으나, 이를 효과적으로 탐지하는 방법이 부족했습니다. 공격이 성공하기 위해 반드시 거쳐야 하는 특정 행동 패턴이 있는지, 그리고 이를 포렌식에 활용할 수 있는지 규명할 필요가 있었습니다.

접근 방법

공격의 정보 탈취 과정에서 나타나는 필수적인 행동 불변량(memory_recall_fact 호출 후 email_send_email 호출)을 이론적으로 규명했습니다. 이를 기반으로 단순 규칙 기반 탐지기와 19개의 궤적 특징을 사용한 Random Forest 분류기를 개발하여 성능을 평가했습니다. 또한, 다양한 크기의 모델과 프론티어 모델(GPT-4.1, GPT-4o)에서의 일반화 가능성과 실시간 차단 가능성을 검증했습니다.

결과·기여

단순 규칙만으로도 AUC 0.9563을 달성했으며, 분류기는 AUC 0.9904를 기록했습니다. 공격은 여러 독립적인 행동 채널에 걸쳐 분산된 궤적 서명을 남기며, 이는 오버데터미네이트된 특성을 보였습니다. 9개 모델에 대한 교차 검증에서 6개 모델에서 AUC 1.000을 달성했으며, 프론티어 모델에서도 재학습 없이 일반화되었습니다. 또한, 이 탐지 방법은 프롬프트 인젝션 공격과 메모리 채널 공격을 구분하는 데에도 유용함을 보여주었습니다.