이미지·영상 확산 트랜스포머를 위한 데이터 비의존적 양자화 기법

한줄 요약

확산 트랜스포머의 활성화 분포 변동 문제를 해결하는 데이터 비의존적 양자화 기법을 제안한다.

풀어야 하는 문제

확산 트랜스포머는 추론 비용이 높지만, 기존 학습 후 양자화(PTQ) 방법들은 활성화 분포가 시점, 프롬프트, 가이드 브랜치에 따라 변동하여 새로운 체크포인트나 모달리티마다 보정 데이터를 다시 맞춰야 하는 문제가 있다.

접근 방법

OrbitQuant는 랜덤 순열 블록-하다마드(RPBH) 회전을 사용하여 각 좌표를 고정된 알려진 주변 분포에 집중시키는 정규화된 회전 기반에서 양자화한다. 이를 통해 단일 로이드-맥스 코드북이 모든 시점, 프롬프트, 층에 적용 가능하며, 가중치 행에는 오프라인으로 회전을 흡수하여 런타임에 활성화에 대한 순방향 회전만 남긴다.

결과·기여

FLUX.1, Z-Image-Turbo, Wan 2.1, CogVideoX 등 여러 모델에서 여러 저비트 설정의 PTQ 최신 성능을 달성했으며, 이미지 확산 트랜스포머의 W2A4 양자화를 사용 가능한 생성 품질로 끌어올렸다. 동일한 방법이 이미지에서 영상으로 모달리티 전환 없이 전이 가능하다.