LLM 사전학습 데이터 노출 위험을 종합적으로 분석한 서베이

한줄 요약

LLM의 사전학습 데이터 노출 문제를 데이터 오염과 멤버십 추론이라는 두 영역을 통합하여 분석한 최초의 서베이 논문.

풀어야 하는 문제

LLM의 사전학습 데이터는 방대하고 불투명하여, 특정 데이터가 학습에 사용되었는지 여부를 확인하기 어렵다. 이는 평가 데이터 오염으로 인한 성능 과대평가와 개인정보 유출 위험을 초래한다.

접근 방법

사전학습 데이터 노출(PDE)을 노출 수준별로 체계화하고, 멤버십 추론 공격과 방어 방법, 데이터 오염 탐지 기법을 종합적으로 리뷰한다. 실증적 발견을 종합하고 공개된 과제와 미래 연구 방향을 제시한다.

결과·기여

PDE에 대한 통일된 프레임워크를 제공하고, 두 연구 영역 간의 연결점을 밝혀 향후 연구의 기반을 마련했다. 또한, 평가 무결성과 프라이버시 보호를 위한 실용적인 통찰을 제공한다.