1시간 길이 영상에서 자연어 시간 구간 찾기는 검색 문제다

한줄 요약

1시간 이상 장시간 영상에서 자연어 질의의 시간 구간을 찾는 문제는 인식이 아닌 검색이 병목이며, 검색-후-구간 찾기 하이브리드 접근이 단일 비디오-LLM보다 훨씬 우수함을 실증했다.

풀어야 하는 문제

기존 시간 구간 찾기 연구는 수 분 이내의 짧은 영상에 집중되어, 1시간 이상의 장시간 영상에서 자연어 질의로 구간을 찾는 문제는 거의 연구되지 않았다. 장시간 영상에서는 질의 관련 이벤트가 영상 전체에 흩어져 있어, 기존 비디오-LLM이 검색 없이 바로 구간을 찾는 데 한계가 있다.

접근 방법

저자들은 장시간 영상에서 시간 구간 찾기를 검색 문제로 정의하고, 이를 검증하기 위해 ExtremeWhenBench라는 첫 번째 공개 장시간 구간 찾기 벤치마크를 구축했다. 194개 영상(평균 75.7분, 최대 9시간)에 2,273개의 개방형 질의를 포함한다. 기존 비디오-LLM, 프레임 수준 검색 기준선, 그리고 검색-후-구간 찾기 하이브리드 방법을 비교 평가하고, 실패 분류 체계를 통해 오류 원인을 분석했다.

결과·기여

모든 공개 비디오-LLM은 장시간 영상에서 성능이 급락한 반면, 프레임 수준 검색 기준선이 이를 능가했다. 실패 분류 결과 85%의 실패가 검색 부족에 기인했으며, 검색-후-구간 찾기 하이브리드는 단일 비디오-LLM 대비 6.7배 성능 향상을 보였다. 이는 개방형 도메인 질의응답에서의 검색-후-읽기 패러다임과 유사한 결과로, 장시간 영상 이해에서 검색의 중요성을 입증했다.