Good results fine tuning a local LLM like Qwen 3:0.6B to categorize questions
가정용 챗봇의 질문 분류를 위해 0.6B 파라미터 초소형 LLM(Qwen 3:0.6B)을 파인튜닝한 결과, 프롬프팅만으로는 10%에 불과하던 정확도가 크게 향상되었다. Unsloth와 QLoRA를 활용한 이 실험은 적은 데이터로도 특정 도메인 분류 작업에 초소형 모델을 효과적으로 적응시킬 수 있음을 시사한다.
가정용 챗봇 프로젝트에서 질문을 사전 처리하여 벡터 검색의 메타데이터를 인식시키기 위해, 초소형 언어 모델(Qwen 3:0.6B)을 질문 분류기로 파인튜닝하는 실험이 수행되었다.
RAG 기반 챗봇의 검색 정확도를 높이기 위해 질문을 미리 카테고리(예: 수영장, 자동차, HVAC 등)로 분류하는 전처리 단계가 도입되었다. 기존의 프롬프팅만으로는 0.6B 모델의 분류 성능이 10%로 매우 낮았으나, Unsloth와 QLoRA를 활용한 파인튜닝을 통해 성능을 크게 개선하는 것이 목표였다.
이 실험은 매우 적은 파라미터 수를 가진 모델도 특정 도메인의 분류 작업에 충분히 유용할 수 있음을 보여준다. 이는 로컬 환경에서 비용 효율적이고 프라이버시 친화적인 AI 에이전트 구축 시, 특정 서브 작업을 위해 초소형 모델을 전문화하는 접근의 실용성을 시사한다.