AI 검색 출력에서 출처 지움 비율 측정 지표 제안

한줄 요약

AI 검색 시스템이 생성한 응답에서 원본 출처가 명시되지 않은 주장의 비율을 측정하는 '출처 지움 비율(PER)' 지표를 제안한다.

풀어야 하는 문제

AI 검색 시스템이 여러 출처를 종합해 답변을 생성할 때, 출처 정보가 사라져 사용자가 정보의 신뢰성을 평가하기 어렵다. 기존 평가 지표(ROUGE, BERTScore)는 내용 보존만 측정하고, 인용 정밀도/재현율은 인용 존재 여부만 확인할 뿐 출처와 주장 간의 연결성을 평가하지 못한다.

접근 방법

PER은 응답 내 각 주장이 원본 출처에 명시적으로 귀속되었는지 여부를 이진 판단하여, 전체 주장 중 출처가 지워진 비율을 계산한다. 주장 단위 가중치를 부여할 수 있으며, 인용 정밀도/재현율 및 AIS 지지도 지표와 구별된다. 구글 AI 개요 사례 연구를 통해 PER=1.0을 시연하고, 검증 의제를 제시한다.

결과·기여

PER은 출처 투명성을 정량화하는 새로운 지표로, AI 검색 시스템의 책임성과 노동 회계, 검색 투명성에 기여할 수 있다. 기존 지표와 직교하며 보완적이다. 다만 제안 단계로 실제 검증이 필요하다.