이미지 이해와 생성을 하나의 토크나이저로 통합한 자회귀 모델

한줄 요약

UniAR는 단일 이산 시각 토크나이저를 공유하여 이미지 이해와 생성을 통합한 자회귀 모델로, 기존의 분리된 토크나이저 방식의 한계를 극복하고 최첨단 성능을 달성했다.

풀어야 하는 문제

기존 통합 멀티모달 모델은 시각 이해와 생성을 위해 각각 다른 시각 토크나이저를 사용하여 표현 공간이 분리되고, 진정한 통합이 어려웠다. 또한 생성 시 이해 토크나이저로 인코딩한 후 다시 생성 토크나이저로 변환해야 하는 비효율이 있었다.

접근 방법

UniAR는 사전 학습된 비전 인코더를 다중 레벨 특징 융합과 lookup-free 비트 양자화 방식으로 적응시켜 단일 이산 시각 토크나이저를 구축한다. 이 토크나이저는 고수준 의미와 저수준 세부 정보를 모두 보존하며, 적은 비용으로 시각 어휘를 확장한다. 통합 자회귀 모델은 병렬 비트 예측을 통해 공간적으로 그룹화된 다중 레벨 시각 코드를 공동 예측하여 시퀀스 길이를 줄이고 생성을 가속화한다. 마지막으로 확산 기반 시각 디코더가 이산 토크나이저에서 고충실도 이미지를 복원한다.

결과·기여

대규모 사전 학습, 지도 미세 조정, 강화 학습을 통해 UniAR는 이미지 생성 및 편집에서 최첨단 성능을 달성하고, 멀티모달 이해 벤치마크에서도 경쟁력 있는 성능을 보였다.