A Survey of Context Engineering for Large Language Models
Lingrui Mei, Jiayu Yao, Yuyao Ge, Yiwei Wang, Baolong Bi, Yujun Cai, Jiazhi Liu, Mingyu Li 외
LLM의 맥락 정보를 최적화하는 컨텍스트 엔지니어링 분야를 체계적으로 정의하고, 구성 요소와 구현 방식을 종합한 서베이 논문.
LLM의 성능은 주어진 맥락 정보에 크게 의존하지만, 이를 최적화하는 방법론이 산발적으로 연구되어 통합된 프레임워크가 부족했다. 또한 모델이 복잡한 맥락을 이해하는 능력은 뛰어나지만, 그에 상응하는 긴 출력을 생성하는 능력은 부족한 비대칭성이 존재한다.
컨텍스트 엔지니어링을 프롬프트 디자인을 넘어서는 공식 학문으로 정의하고, 구성 요소(컨텍스트 검색, 생성, 처리, 관리)와 시스템 구현(RAG, 메모리 시스템, 도구 통합 추론, 멀티에이전트 시스템)으로 나누어 분류한다. 1400편 이상의 논문을 체계적으로 분석하여 기술 로드맵을 제시한다.
컨텍스트 엔지니어링의 통합 프레임워크를 제공하고, 연구 격차(맥락 이해와 생성 능력 간 비대칭성)를 식별하여 향후 연구 방향을 제시한다. 연구자와 엔지니어 모두에게 유용한 참고 자료를 제공한다.