이미지의 2D 공간 구조를 활용한 추측 디코딩으로 자회귀 이미지 생성 가속

한줄 요약

SSD는 이미지의 2D 공간 상관관계를 활용한 추측 디코딩 기법으로, 자회귀 이미지 생성 모델의 추론 속도를 최대 13.3배 향상시킨다.

풀어야 하는 문제

자회귀(autoregressive) 이미지 생성 모델은 이미지를 1D 토큰 시퀀스로 평탄화하여 처리하는데, 이는 이미지 고유의 2D 공간 구조를 무시한다. 결과적으로 추론 시 메모리 대역폭 병목이 발생하고 생성 속도가 느리다.

접근 방법

SSD는 기존의 1D 다음 토큰 예측 대신, 현재 토큰의 오른쪽과 아래쪽 이웃 토큰을 동시에 예측하도록 모델을 학습시킨다. 이를 통해 2D 공간 상관관계를 활용하여 여러 토큰을 한 번에 생성할 수 있으며, 추측 디코딩(speculative decoding) 프레임워크 내에서 작동한다.

결과·기여

DPG-Bench와 GenEval 벤치마크에서 높은 충실도를 유지하면서 최대 13.3배의 속도 향상을 달성했다. 이는 이미지의 기하학적 구조를 존중하는 것이 대규모 계산 효율성을 가능하게 함을 보여주며, 실시간 고해상도 자회귀 생성 모델의 길을 연다.