OneGenome-Rice (OGR): A genomic foundation model for rice
Qian, B., Liang, C., Qin, C., Liu, C., Zhang, C., Xu, C., Li, D., Xue, G. 외
422개 벼 유전체로 사전 학습된 12.5억 파라미터 규모의 초장 컨텍스트 유전체 기반 모델 OGR을 개발하고, 기능 유전체학 및 정밀育種 기반 인프라로 활용 가능성을 입증했다.
식물, 특히 주요 작물의 유전체를 위한 기반 모델이 부족하여, 유전체학을 예측적 지능 분야로 전환하는 데 장애물이 존재했다.
Mixture of Experts(MoE) 트랜스포머 아키텍처를 기반으로 12.5억 파라미터를 구현하고, 422개 고품질 벼 유전체 데이터셋으로 사전 학습했다. 단일 염기 수준 해상도에서 최대 100만 염기쌍 길이의 컨텍스트 윈도우를 지원하도록 설계했다.
11개 벤치마크 항목(모티프 식별, 선택 신호 탐지 등)에서 기존 최신 모델을 크게 능가하는 성능을 보였다. 인디카-자포니카 아종 교배 분석, 농업 형질 관련 기능 유전자 위치 확인, DNA 서열로부터 유전자 발현 예측 등 하위 응용에서의 유용성을 입증했다. 모델, 사전 학습 가중치, 학습 코드 및 벼 유전체 벤치마크 스위트를 완전히 공개하여 벼 기능 유전체학 및 정밀育種의 기반 계산 인프라로 자리매김했다.