The Tatoxa System for Text Detoxification in Low-Resource Languages: The Case of Tatar
Ilseyar Alimova, Bogdan Monogov, Artyom Mazur, Daniil Antonov, Vsevolod Karimov, Vitaliy Egorov, Bulat Khakimov, Alexander Panchenko
저자원 언어 타타르어의 텍스트 해독을 위한 최신 시스템과 데이터셋을 제시하고, 교차 언어 전이의 한계를 보여준 연구이다.
온라인 커뮤니티의 안전을 위해 악성·유해 콘텐츠를 자동으로 탐지·완화하는 텍스트 해독 기술이 중요하지만, 타타르어와 같은 저자원 언어는 연구가 부족하다.
타타르어 텍스트 해독을 위한 새로운 시스템 'Tatoxa'를 개발하고, 타 언어(러시아어 포함)에서의 교차 언어 전이 실험을 수행하여 비교 분석했다.
제안된 시스템은 기존 오픈소스 및 상용 LLM을 주요 품질 지표에서 능가했다. 또한, 타타르어 텍스트 해독을 위한 새로운 데이터셋을 소개했으며, 교차 언어 전이보다 모국어 데이터로 학습하는 것이 훨씬 효과적이라는 것을 입증했다.