질문 복잡도에 따라 검색 증강 LLM 전략을 동적으로 선택하는 적응형 QA 프레임워크

한줄 요약

질문 복잡도를 예측하는 분류기를 통해 검색 증강 LLM의 전략(무검색, 단일 검색, 반복 검색)을 동적으로 선택하여 효율성과 정확성을 높인 적응형 QA 프레임워크.

풀어야 하는 문제

기존 검색 증강 LLM은 모든 질문에 동일한 검색 전략을 적용하여 단순 질문에 불필요한 계산 비용이 들거나 복잡한 다단계 질문을 제대로 처리하지 못하는 문제가 있다. 사용자 질문은 단순/복합의 이분법이 아닌 연속적인 복잡도 스펙트럼을 가지므로, 이에 맞춰 적응할 필요가 있다.

접근 방법

1) 질문 복잡도 수준을 단순(무검색), 중간(단일 검색), 복합(반복 검색)의 세 단계로 정의한다. 2) 자동 레이블링: 각 질문에 대해 세 가지 전략을 모두 실행한 후, 가장 정확한 답변을 낸 전략의 복잡도 수준을 레이블로 부여한다. 3) 작은 언어 모델(예: BERT)을 분류기로 학습시켜 질문의 복잡도를 예측하게 한다. 4) 추론 시 분류기가 예측한 복잡도에 따라 적절한 전략을 선택하여 QA를 수행한다.

결과·기여

다양한 복잡도의 질문을 포함한 여러 오픈 도메인 QA 데이터셋에서 실험한 결과, 제안 방법은 단일 전략 기반 및 기존 적응형 검색 방법보다 평균 정확도와 효율성(처리 시간)에서 우수한 성능을 보였다. 특히 단순 질문에서 불필요한 검색을 줄이고 복잡한 질문에서 반복 검색을 통해 정확도를 높이는 균형을 달성했다. 코드가 공개되어 재현 가능하다.