From RAG to Memory: Non-Parametric Continual Learning for Large Language Models
Bernal Jiménez Gutiérrez, Yiheng Shu, Weijian Qi, Sizhe Zhou, Yu Su
HippoRAG 2는 RAG 기반 비모수적 지속학습을 통해 LLM의 장기기억 능력을 향상시킨 프레임워크다.
LLM은 지속적으로 새로운 지식을 학습하는 데 어려움이 있으며, 기존 RAG는 벡터 검색에 의존해 인간 기억의 역동성과 상호연결성을 모방하지 못한다. 또한 최근 구조적 접근법(RAG+KG)은 사실적 기억 작업에서 성능이 저하된다.
HippoRAG 2는 HippoRAG의 Personalized PageRank 알고리즘을 기반으로, 더 깊은 구절 통합과 LLM의 효과적인 온라인 사용을 추가했다. 이를 통해 사실적, 연관적, 의미적 기억 작업을 모두 개선했다.
연관 기억 작업에서 최신 임베딩 모델 대비 7% 향상, 사실적 및 의미적 기억에서도 우수한 성능을 보였다. 비모수적 지속학습의 새로운 방향을 제시하며, 코드와 데이터가 공개되었다.