에이전트 기반 시각 생성의 지식 한계를 진화시키는 검색 기반 학습 프레임워크

한줄 요약

시각 생성 모델의 고정된 지식 한계를 극복하기 위해 검색 도구와의 공동 학습을 통해 에이전트 기반 생성의 성능을 획기적으로 향상시키는 방법을 제시한다.

풀어야 하는 문제

시각 생성 모델은 고정된 학습 데이터로 인해, 사용자의 무한하고 진화하는 요청(새로운 캐릭터, 트렌드 엔티티 등)에 대해 자신감 있게 잘못된 정보를 생성하는 구조적 한계를 가지고 있다. 기존 벤치마크는 이를 포착하지 못하며, 단순한 검색 통합은 오히려 노이즈를 주입시켜 성능을 저하시킨다.

접근 방법

12개의 실패 카테고리와 22개 도메인에 걸친 20,839개 프롬프트로 구성된 SearchGen-20K 데이터셋과 벤치마크를 구축했다. 생성 모델의 지식 한계를 발견하기 위해 '가르치고 검색하는(teach-then-search)' 공동 학습 프레임워크를 제안했다. 이 프레임워크는 생성 모델이 내부화할 수 있는 지식과 외부 컨텍스트에 남아야 하는 지식의 경계를 학습한다.

결과·기여

SearchGen-Bench에서 기존 최첨단 오픈 생성 모델은 100점 만점에 21~28점에 불과했다. 제안된 공동 학습 프레임워크의 최소 버전조차도 단조로운 성능 향상을 보여, 시각 생성의 재귀적 자기 개선 기반을 마련했다. 전체 데이터셋과 공동 학습 코퍼스, 검색 코퍼스를 공개하여 도구 강화 시각 생성 연구의 재현 가능한 환경을 제공한다.