AI가 문서를 더 잘 이해하도록 새로운 포맷 표준화 추진

무슨 일

리눅스 재단 산하 LF AI & Data Foundation이 IBM, NVIDIA, Red Hat, ABBYY, HumanSignal, Forgis와 함께 AI 친화적 문서 포맷 'DocLang' 개발을 위한 워킹그룹을 결성했다. DocLang은 기업이 문서를 AI 시스템에 효과적으로 공급할 수 있도록 설계된 개방형 표준이다.

맥락

기존 PDF, 마크다운, HTML, LaTeX 등은 인간의 가독성을 위해 설계되어 AI 모델이 파싱할 때 의미 정보, 구조적 관계, 기하학적 맥락이 손실된다. IBM이 2024년 말 개발한 오픈소스 툴킷 Docling을 기반으로, DocLang은 여러 시스템 간 구조화된 출력을 교환하기 위한 표준을 제공한다. DocLang은 LLM 토크나이저에 최적화된 제한된 XML 어휘를 사용하며, 1:1 매핑을 통해 토큰 효율성을 높이고 손실 없는 변환을 지원한다.

시사점

DocLang은 PDF 등 기존 포맷 대비 AI 파싱 정확도를 높이고 토큰 소모를 줄여 비용 절감 효과를 기대할 수 있다. ABBYY에 따르면, 모호한 구조는 모델의 추측을 유발해 환각 위험을 높이고 토큰을 낭비한다. DocLang은 이러한 문제를 해결해 기업 AI 도입의 효율성을 높일 잠재력이 있다. 다만, 새로운 표준의 채택과 생태계 확산이 관건이다.