Towards conversational diagnostic artificial intelligence
Tao Tu, Mike Schaekermann, Anil Palepu, Khaled Saab, Jan Freyberg, Ryutaro Tanno, Amy Wang, Brenna Li 외
AMIE는 자가 대결(self-play) 기반 시뮬레이션 환경과 자동 피드백을 활용하여 진단 대화 능력을 학습한 LLM 기반 AI 시스템으로, 1차 진료 의사와의 비교 연구에서 우수한 진단 정확도와 의사소통 능력을 입증했다.
의사-환자 간 대화는 진단과 치료의 핵심이지만, AI가 이를 수행하기 위해서는 병력 청취, 진단 추론, 공감 능력 등 복잡한 임상 전문성을 요구한다. 기존 AI는 이러한 대화형 진단 능력에서 한계를 보였다.
AMIE는 자가 대결(self-play) 기반 시뮬레이션 환경을 구축하여 다양한 질환, 전문 분야, 맥락에서의 대화를 학습했다. 자동 피드백 메커니즘을 통해 진단 정확도, 의사소통, 공감 능력을 최적화했다. 평가는 캐나다, 영국, 인도의 159개 사례를 바탕으로 20명의 1차 진료 의사와 비교하는 무작위 이중맹검 교차 연구로 진행되었으며, 전문의와 표준화 환자가 평가를 수행했다.
AMIE는 전문의 평가 기준 32개 항목 중 30개, 표준화 환자 평가 기준 26개 항목 중 25개에서 1차 진료 의사보다 우수한 성능을 보였다. 특히 진단 정확도에서 유의미한 차이를 보였으며, 공감 능력과 의사소통 측면에서도 높은 점수를 받았다. 이는 대화형 진단 AI의 중요한 이정표로, 향후 실제 임상 환경으로의 전환 가능성을 제시한다.