잠재 확산 모델의 무단 모방을 막는 방어 프레임워크

한줄 요약

VOID는 잠재 확산 모델(LDM)의 무단 모방을 방어하기 위해, 잠재 인코딩 오차를 증폭하고 목표 유도 신호를 상쇄하여 의미론적 손상을 유발하는 방어 프레임워크이다.

풀어야 하는 문제

LDM은 개인의 무단 모방(예: 딥페이크)에 악용될 수 있다. 기존 방어는 미세한 섭동을 추가하여 생성 이미지를 무관한 대상으로 유도하지만, LDM의 복원 메커니즘이 이러한 섭동을 제거하여 결국 개인 정체성이 재등장한다.

접근 방법

VOID는 LDM의 확률적 과정을 두 가지 방식으로 교란한다: 1) 잠재 인코딩 오차를 증폭하여 이미지의 의미론적 구조를 파괴하고, 2) 목표 유도 신호를 상쇄하여 모델의 복원 능력을 억제한다. 이로 인해 의미론적 손상이 발생하여 무단 모방이 불가능해진다. 또한 섭동을 사람이 인지할 수 없는 영역에 국한시켜 시각적 유용성을 유지한다.

결과·기여

24개의 최신 방어 기법과 10가지 모방 공격, 5개 데이터셋에 대한 평가에서 VOID는 평균 FID를 113에서 365로 증가시켜, 기존 최강 방어 대비 223% 향상된 보호 성능을 보였다.