Google Blog: Gemini·· 2시간 전AI 점수44
Multimodal Knowledge Agent(MKA) 벤치마크 발표
Introducing the Multimodal Knowledge Agent benchmark
AI 요약
Google DeepMind와 Artificial Analysis는 시각적으로 복잡한 파일을 다루는 실무 과제에서 에이전트를 평가하는 벤치마크 'MKA'를 공개했다. 10개 업종 전문가가 만든 200개 과제로 구성되며, 전문가 채점과의 일치율은 96%라고 한다. Gemini 4 Carbon은 품질 면에서 평가 대상 모델 중 2위에 올랐으며, 최고 점수 모델과 비교해 평균 6배 낮은 비용으로 과제를 완료한다. Gemini 4 Carbon은 Gemini API를 통해 Google AI Studio에서 이용할 수 있다.
출처: Google Blog: Gemini · blog.google