교차 공간 증류: 서로 다른 잠재 공간의 모델 간 지식 전이 방법 제안

한줄 요약

교사와 학생 모델의 잠재 공간이 다를 때도 지식을 전이할 수 있는 '교차 공간 증류' 프레임워크와 브릿지 인터페이스를 제안한다.

풀어야 하는 문제

최신의 고성능 확산 모델(예: SD 3.5, Flux)을 경량화된 배포 친화적 모델(예: SD 1.5)로 증류할 때, 두 모델의 잠재 공간 해상도와 VAE 파라미터화가 달라 기존 증류 방법을 적용할 수 없었다.

접근 방법

학생 모델의 잠재 벡터를 교사 모델의 공간으로 변환하는 가벼운 '브릿지(Bridge)' 인터페이스를 도입했다. 이 브릿지는 학생의 VAE 디코더를 고정하고, 학습 가능한 투영기를 결합하여 교사 공간과의 정렬을 학습한다.

결과·기여

제안된 방법은 SD 1.5 학생 모델의 HPSv3 점수를 5.4에서 9.4로 크게 향상시키면서도 원스텝 추론 속도와 배포 편의성을 유지한다. 이는 다양한 구조의 대형 교사 모델에서 효율적인 학생 모델로의 지식 전이가 가능함을 보여준다.