뉴로모픽 하드웨어에 최적화된 스파이크 기반 멀티모달 거대 언어 모델

한줄 요약

스파이크 신경망(SNN)의 에너지 효율성을 멀티모달 거대 언어 모델(MLLM)에 적용한 최초의 프레임워크로, 모달리티별 시간 척도와 시간 압축 기법을 통해 성능 저하 없이 추론 시간 단계를 크게 줄이고 전용 하드웨어 가속기로 높은 전력 효율을 달성했다.

풀어야 하는 문제

멀티모달 거대 언어 모델(MLLM)은 뛰어난 성능을 보이지만 추론 시 막대한 계산량과 에너지 소모가 발생하여 자원 제약 환경에서의 배포가 어렵다. 스파이크 신경망(SNN)은 이벤트 기반 희소 연산으로 에너지 효율성이 높지만, 이를 MLLM에 확장할 때 두 가지 주요 문제가 있다: (1) 이질적인 모달리티(텍스트, 이미지 등)에 대해 균일한 스파이크 인코딩이 부적합하며, (2) 고해상도 이미지 입력은 시간 단계 전개 오버헤드를 증폭시킨다.

접근 방법

SpikeMLLM은 기존 ANN 양자화 방법을 스파이크 표현 공간에서 통합하고, 모달리티 진화 불일치(MED)에 기반한 모달리티별 시간 척도(MSTS)와 시간 압축 LIF(TC-LIF)를 도입한다. MSTS는 각 모달리티의 시간적 특성에 맞게 스파이크 인코딩을 조정하고, TC-LIF는 시간 단계를 T=L-1에서 T=log2(L)-1로 압축한다. 또한 스파이크 기반 데이터 경로에 특화된 RTL 가속기를 개발하여 알고리즘-하드웨어 공동 설계를 구현했다.

결과·기여

InternVL2-8B와 Qwen2VL-72B 모델에서 FP16 기준 대비 평균 0.72%와 1.19%의 성능 차이만 보이며 거의 손실 없는 성능을 유지했다. 전용 RTL 가속기는 FP16 GPU 기준 대비 9.06배 높은 처리량과 25.8배 향상된 전력 효율을 달성하여, 효율적인 멀티모달 지능을 위한 알고리즘-하드웨어 공동 설계의 가능성을 보여주었다.