Moebius: 0.2B Lightweight Image Inpainting Framework with 10B-Level Performance
Kangsheng Duan, Ziyang Xu, Wenyu Liu, Xiaohu Ruan, Xiaoxin Chen, Xinggang Wang
Moebius는 0.22B 파라미터의 경량 이미지 인페인팅 프레임워크로, 10B급 모델(FLUX.1-Fill-Dev)과 견줄 만한 성능을 15배 이상 빠른 추론 속도로 제공합니다.
10B급 산업용 기반 모델은 이미지 인페인팅에서 뛰어난 성능을 보이지만, 막대한 계산 비용으로 실제 배포가 어렵습니다. 태스크 특화 경량 모델은 구조적 압축으로 인해 표현 병목(representation bottleneck)이 발생합니다.
확산 백본을 체계적으로 재구성하여 Local-λ Mix Interaction (LλMI) 블록을 도입했습니다. 이 블록은 Local-λ와 Interactive-λ 모듈로 구성되어 공간 컨텍스트와 전역 의미적 사전을 고정 크기 선형 행렬로 요약하며, 파라미터를 크게 줄이면서 복잡한 잠재 상호작용을 보존합니다. 또한, 잠재 공간에서 작동하는 적응형 다중 세분화 증류 전략을 통해 고충실도 정렬을 달성합니다.
자연 및 인물 벤치마크 실험에서 Moebius는 FLUX.1-Fill-Dev (11.9B 파라미터)의 2% 미만인 0.22B 파라미터로 동등하거나 더 나은 생성 품질을 보였으며, 총 추론 시간에서 15배 이상 가속을 달성했습니다.