Unveiling Privacy Risks in Multi-modal Large Language Models: Task-specific Vulnerabilities and Mitigation Challenges
Tiejin Chen, Pingzhi Li, Kaixiong Zhou, Tianlong Chen, Hua Wei
멀티모달 거대 언어 모델(MLLM)의 프라이버시 위험을 체계적으로 평가하기 위한 데이터셋 MM-Privacy를 소개하고, 여러 모델에서 개인정보 유출 가능성을 실증적으로 보여준 연구.
텍스트 기반 LLM의 프라이버시 위험은 잘 연구되었으나, 이미지와 텍스트를 함께 처리하는 MLLM에서의 프라이버시 위험은 충분히 탐구되지 않았다. MLLM은 이미지에 포함된 민감 정보를 추출하거나 기억에서 유출할 수 있어 새로운 위험을 초래한다.
(1) 다양한 멀티모달 작업과 시나리오에서 프라이버시 위험을 평가하기 위한 포괄적 데이터셋 MM-Privacy를 구축하고, 공개 위험(Disclosure Risk)과 보유 위험(Retention Risk)을 정의했다. (2) 여러 MLLM을 MM-Privacy로 체계적으로 평가하여 다양한 작업에서 민감 데이터가 유출되는 방식을 보여주었다. (3) 작업 불일치(task inconsistency)가 프라이버시 위험에 미치는 영향을 추가로 분석했다.
MLLM이 이미지 내 민감 정보를 유출할 수 있음을 실증적으로 확인했으며, 작업 불일치가 프라이버시 위험을 악화시킴을 밝혔다. 이는 MLLM의 안전장치 필요성을 강조하며, 향후 완화 전략 개발에 기여할 수 있는 데이터셋과 분석을 제공한다.