단일 참조 이미지만으로 학습 없이 고품질 이미지 생성

무슨 일

단일 참조 이미지의 패치 분포를 활용하여 신경망 학습 없이 확산 모델을 구현하는 방법을 제안했다. 기존 단일 이미지 확산 모델은 학습에 수 시간이 소요되지만, 이 방법은 패치 단위의 최적 폐쇄형 노이즈 제거기를 사용하여 학습 과정을 완전히 생략한다.

맥락

단일 이미지 생성 모델링은 데이터가 부족한 상황에서 유용하며, 생성된 이미지의 패치 통계가 입력 이미지와 정확히 일치하도록 강제한다. 이는 스타일과 구조를 밀접하게 유지하는 데 도움이 된다. 기존의 대규모 모델은 인터넷 규모의 데이터로 학습되어 입력 이미지의 패치 통계를 벗어나는 반면, 단일 이미지 모델은 입력에 존재하는 패치만으로 출력을 제한한다.

시사점

이 방법은 학습이 필요 없어 계산 비용이 극적으로 낮고, 메가픽셀 이미지를 1초, 기가픽셀 이미지를 수 분 내에 생성할 수 있어 실용성이 높다. 또한 조건부 생성, 텍스트 기반 스타일화, 이미지 대칭화, 리타겟팅 등 다양한 응용이 가능하다. 다만 패치 기반 접근의 한계로 전역 구조가 복잡한 경우 성능이 제한될 수 있다.