Google, Gemini 4 Carbon 발표… 업데이트된 벤치마크에서 1위, 제공은 제한적

Gemini 4 Carbon은 사이버보안과 복잡한 소프트웨어 엔지니어링 성능 향상을 내세운 모델이다. Google 발표에 따르면 17개 항목 중 15개에서 최고치를 기록했으며, OpenAI는 소프트웨어 엔지니어링 1개 항목에서, Anthropic은 컴퓨터 조작 1개 항목에서 이를 앞섰다. 도입 가격은 입력 $2, 출력 $10이며, 캐시 입력은 95% 할인된다. 이후 가격은 $4와 $20이지만, 도입 기간이 언제 끝나는지는 밝혀지지 않았다. 전 세대 모델인 Argon은 도입 기간을 11월 30일까지로 정했다.

벤치마크에서는 Argon 대비 17개 항목 전부에서 향상됐다. GraphWalks는 84.2%에서 96.2%로, ExploitGym은 42.0%에서 54.8%로, Terminal-Bench 4.0은 57.1%에서 65.2%로 올랐다. 반면 SWE-sweep에서는 Astra와의 격차가 0.1포인트에 그쳤고, FrontierSWE 2에서는 Astra와 Opus에 미치지 못했다. OSWorld의 오프라인 서브셋에서는 Opus가 87.2%로 Carbon의 81.5%보다 높았다. Artificial Analysis의 v5는 60%에 비공개 테스트와 답변 비공개 문항을 사용하는 개정판이라, 구버전 점수와는 섞어서 비교할 수 없다.

독립 평가에서는 평가별 차이도 드러난다. Coding Agent Index에서 Antigravity CLI를 통한 Carbon은 59점으로, Claude Code with Opus 5.5의 62점이 1위다. AA-Briefcase에서는 1,609 Elo로 Argon보다 126포인트 올랐지만, Grok 4.7과 Kimi K3.1 Pro 등에는 뒤졌다. AA-Omniscience에서는 최고점인 54점을 얻었으나, 환각률은 4%에서 11%로 상승했다. Google은 사내 시험에서 근거 없는 주장이 거의 절반으로 줄었다고 보고했으며, 평가에 따라 결과가 일관되지는 않다.

사이버보안 분야에서는 취약점 발견, 악용 가능성 확인, 수정 패치 작성의 3단계로 평가했다. 외부 평가는 '가드레일 없이' 진행되었으므로, 고객 환경에서 같은 점수가 나온다고 보장할 수는 없다. 당분간은 Fairwind를 통해 제공되며, Google은 피드백과 가드레일 개선을 거쳐 '가능한 한 빨리' 널리 공개하겠다고 밝혔다. 일반 공개 시기와 API 사양은 아직 발표되지 않았으며, 현재 공개적으로 이용할 수 있는 모델은 Argon이다.