Google DeepMind, Gemini에 에이전트형 동영상 이해 도입… 토큰 소비 최대 88% 절감

기존의 정적 처리에서는 동영상을 고정 프레임레이트(기본값 1 FPS, API로 조정 가능)로 가져온다. 에이전트형 동영상 이해에서는 모델이 목적에 따라 어떤 구간을 어느 속도로, 프레임·음성·자막 중 무엇으로 볼지 스스로 결정한다. 내부 도구를 호출해 동영상의 해당 부분만 읽어 들이는 에이전트 루프로 동작하며, 개발자가 수동으로 하던 처리를 대신한다.

효과는 10분짜리 하우투 동영상부터 90분 강의, 수 시간짜리 녹화 등 긴 동영상에서 특히 크다고 한다. Gemini 3.7 Flash는 테스트한 모델 중 정확도와 비용의 파레토 프런티어에 위치하며, 전체 품질에서도 가장 우수하다고 한다.

주요 용도로는 1 FPS에서는 놓치기 쉬운 순간적인 상태 변화나 컷 경계를 포착하는 1초 미만 단위의 순간 검색, 수 시간 분량의 동영상에서 수백만 토큰을 쓰지 않고 답을 찾는 장시간 검색, 주목 구간을 더 높은 FPS로 다시 샘플링하는 이상 탐지, 반복 동작이나 물체 세기 등이 제시되어 있다.

이용하려면 API 설정에서 processing을 "agentic"으로 지정하기만 하면 되며, 요금은 일반 Gemini API 토큰 요금이고 기능 추가 요금은 없다. Gemini 앱에서는 Flash 및 Flash-Lite 모델을 대상으로 곧 모든 사용자에게 확대될 예정이다. 앞으로 몇 달 안에 YouTube 시청 페이지의 Ask YouTube 기능에도 적용될 예정이다.