의료 분야 LLM 적응 전략의 효과 비교: 프랑스어 QA 사례 연구

한줄 요약

프랑스어 의료 QA를 통해 LLM의 도메인 적응 전략(CPT, SFT, 결합)을 체계적으로 비교한 실증 연구.

풀어야 하는 문제

LLM을 특정 도메인(의료)과 언어(프랑스어)에 적응시키는 최적의 전략이 무엇인지 불명확함. CPT와 SFT의 효과를 분리하여 비교하고, 계산 비용 대비 성능 이점을 밝히는 것이 목표.

접근 방법

세 가지 모델 패밀리, 다양한 크기, 세 가지 초기화 유형을 사용하여 CPT, SFT, CPT+SFT를 비교. 객관식 QA(MCQA)와 개방형 QA(OEQA)를 자동 평가 및 LLM-as-a-Judge로 평가. 교차언어 실험도 수행.

결과·기여

MCQA에서는 CPT+SFT가 가장 좋지만 SFT만으로도 비슷한 성능을 얻어 비용 효율적. OEQA에서는 CPT가 중첩 기반 지표를 개선하고, SFT는 생성 품질을 저하시킬 수 있음. 실용적인 적응 전략 선택 가이드라인 제시.