It Is Trivially Easy to Use Reddit to Manipulate AI Search
코넬대 연구에 따르면 레딧 등 사용자 생성 콘텐츠 사이트의 13단어짜리 짧은 텍스트만으로 AI 검색 에이전트의 출력을 스팸이나 홍보성 콘텐츠로 조작할 수 있다. 연구는 AI 검색 결과의 약 절반이 사용자 생성 콘텐츠를 인용하며, 단일 댓글로 관련 질문 전체 클러스터에 영향을 줄 수 있음을 보여준다.
코넬대 연구진이 레딧, 위키피디아, 쿼라 등 사용자 생성 콘텐츠(UGC) 사이트의 짧은 텍스트(13단어)만으로 AI 검색 에이전트의 출력을 스팸이나 사기성 콘텐츠로 조작할 수 있음을 입증했다. 연구에 따르면 AI 검색 결과의 약 절반이 UGC를 인용하며, 단일 댓글로 관련 질문 전체 클러스터에 영향을 줄 수 있다.
최근 AI 최적화(AEO) 산업이 급성장하며 브랜드들이 AI 도구가 자주 인용하는 사이트에 홍보성 콘텐츠를 심는 현상이 증가했다. 404 Media는 이 문제를 반복적으로 보도했으며, 레딧 운영자와 위키피디아 편집자들은 AI 생성 콘텐츠를 차단하기 위해 노력 중이다. 이번 연구는 이러한 조작이 기술적으로 얼마나 쉬운지 체계적으로 증명했다.
AI 검색의 신뢰성에 심각한 위협이 될 수 있다. 레딧의 자원봉사 운영자나 위키피디아 편집자만으로는 지속적인 보호가 어려울 수 있으며, AI 기업들은 인용 소스의 신뢰성을 평가하는 더 강력한 메커니즘을 도입해야 할 필요성이 제기된다.
댓글은 AI 검색 조작이 기술적으로 쉽다는 점을 인정하면서도, 이는 강에 유독 폐기물을 버리는 것과 같이 명백히 해로운 행위라는 비유를 들어 비판합니다. 특정 찬성 의견은 보이지 않으며, 조작 가능성 자체보다는 그 행위의 부도덕성에 초점을 맞추고 있습니다.