CWE-bench v2, 커버리지·품질·투명성 강화

Collinear AI의 사이버보안 평가 벤치마크 「CWE-bench v2」는 실제 오픈소스 리포지토리에서 기존 기능을 깨뜨리지 않고 보안 취약점을 수정하는 과제를 91종의 CWE에 걸쳐 100건 공개했다고 밝혔다.

Mistral AI@MistralAIAI 점수2828

Mistral AI의 공식 계정에 따르면 Large-4 업데이트로 코딩 성능이 크게 향상됐다. 같은 계정이 공개한 코딩 벤치마크에서는 오픈소스 모델 가운데 2위의 성능을 기록했다. Le Chon은 3주간 쉬지 않고 합숙했다. 테스트에 협력해 준 @ThibaultJaigu와 @RequestyAI에 감사드린다.

Google, 사이버 방어자 대상 제한 제공으로 Gemini 4 Carbon 발표

구글은 10월 28일 블로그를 통해 새로운 프런티어 모델 Gemini 4 Carbon을 발표했다. Artificial Analysis Intelligence Index v5.0에서 59점을 기록해 Claude Opus 5.5를 1점 앞섰다. 당분간은 Fairwind Program의 승인을 받은 일부 사이버 방어 담당자만 이용할 수 있으며, 일반 제공 시기는 밝혀지지 않았다.

Google DeepMind, Gemini 4 Carbon 발표 — 독립 벤치마크 1위, 당분간 사이버 방어 담당자 대상

Google DeepMind는 Gemini 4 Carbon을 발표하고 Artificial Analysis의 Intelligence Index v5에서 59점으로 1위를 차지했다고 밝혔다. 우선 제공 대상은 Fairwind Program을 통해 신뢰받는 사이버 방어 담당자이며, 개발자 대상 일반 제공은 "가능한 한 빨리"로 예정돼 있다. 코딩에서는 Antigravity CLI로 측정한 결과가 Claude Code 상의 Opus 5.5에 못 미치는 등 분야별로 평가가 엇갈린다.

Elorian、시각 추론 벤치마크 「DecoyCount」에서 Glimpse 검증

Elorian의 시각 추론 모델 「Glimpse」가 공동 공개된 벤치마크 「DecoyCount」에서 50.48%를 기록했다. 논문에서 최고 성적을 낸 GPT-6 Astra의 43.17%를 웃돌았지만, 이는 사내 테스트의 단일 실행 결과이며 논문의 모델은 3회 평균값이라고 밝혔다. DecoyCount는 1,660문항으로 구성되며, 시각과 추론을 동시에 검증한다는 점이 특징으로 꼽힌다.

Arena 1위의 향방, Gemini 4 Argon의 우위와 역전 가능성 검증

Google의 Gemini 4 Argon은 10월 22일 시점의 조사에서 LMArena의 Text Arena 1위로 기록됐다. 2위 이하와는 근소한 차이로 나란히 있으며, 점수와 투표 수가 공개되지 않아 1위 유지 여부는 판단할 수 없다. Argon은 9월 30일에 발표됐고, 10월 13일에 Gemini 앱과 AI Studio 등을 통해 널리 제공되기 시작했다.

평가 편향을 수정하고 Amazon Bedrock에서 더 나은 모델을 선정

Property Finder는 평가 라벨의 96.8%가 기존 모델의 예측에서 이어받은 것이었으며, 평가가 현행 모델 쪽으로 치우쳐 있었다고 밝혔다. 전문가가 독립적인 정답 데이터를 새로 만들고 진화적 프롬프트 최적화를 수행한 결과, Amazon Bedrock에서 정확도를 높이면서 비용을 86% 줄이는 모델을 선정했다. 평가에는 356장의 이미지를 사용했으며, 주요 지표로 Micro F1을 채택했다.

OpenAI, GPT-6.1 Terra 공개…API 가격은 GPT-5.6 Terra의 절반

OpenAI가 GPT-6.1 Terra를 공개하고 API 가격을 GPT-5.6 Terra의 절반으로 낮췄다. 입력은 100만 토큰당 $1, 출력은 $5, 캐시 입력은 $0.05다. Artificial Analysis의 Intelligence Index에서는 48점으로, GPT-5.6 Terra의 42점을 웃돌았으며, 태스크당 비용은 $0.40 대 $1.40으로 비교됐다. ChatGPT Work, Codex, API에서 현재 제공 중이다.

Kimi K3.1 Pro의 사양, 벤치마크, 가격을 공개 자료 기준으로 정리

Moonshot AI가 2026년 10월 23일 공개한 Kimi K3.1 Pro를 공개 자료와 제3자 평가를 토대로 사양, 벤치마크, 가격을 정리한 해설이다. Artificial Analysis의 Intelligence Index는 55점으로, 전세대 Kimi K3의 44점에서 상승했다. 필자는 독자적인 모델 테스트를 하지 않았다고 명시했으며, 가중치 공개는 11월 4일까지 예정되어 있으나 현재는 공개되지 않은 상태다.

Claude Fable 5.5、공식 발표는 아직 확인되지 않은 실시간 정보 정리

Anthropic은 10월 20일 시점에 Claude Fable 5.5를 공식 발표하지 않았다. 확인되는 최신 Fable은 5.1이다. 10월 13일 LiteLLM 카탈로그에 추가된 azure_ai/claude-fable-5-5는 가격과 기능 값을 Fable 5.1에서 그대로 가져왔으며, 이후 저장소 기록에서 이의가 제기되어 삭제되었다. 공식 사양, 가격, 벤치마크 결과는 확인되지 않았고, 본 사이트도 실제 기기 테스트를 진행하지 않았다.

OpenAI, GPT-6로 COBOL 등 레거시 언어 성능 향상 발표

OpenAI는 COBOL과 Fortran처럼 학습 코드가 적은 '저자원 언어'에서 성능이 향상됐다고 발표했다. 20개 언어를 대상으로 한 MultiLangBench에서는 추론 노력을 최대로 설정한 GPT-6 Astra가 평균 87.4%의 테스트 합격률을 기록해, GPT-5.6 Terra의 약 38%에서 상승했다. COBOL 마이그레이션 벤치마크에서는 GPT-6.1 Sol이 낮은 추론 노력으로 86.6%의 정확도에 도달해, GPT-5.6 Sol의 5.4%를 크게 웃돌았다.

OpenAI, COBOL 등 저자원 언어의 코딩 성능 향상 발표… MultiLangBench·COBOL 마이그레이션 평가로 측정

OpenAI는 COBOL, Fortran, Visual Basic 등 저자원 프로그래밍 언어에서의 구축 및 마이그레이션 능력이 향상되었다고 발표했다. MultiLangBench에서 GPT-6 Astra는 20개 언어 평균 통과율 87.4%를 기록해, GPT-5.6 Sol의 26.8%를 웃돌았다. COBOL 마이그레이션 평가에서는 GPT-6.1 Sol이 낮은 추론 부하에서 86.6%, 높은 추론 부하에서 97.9%에 도달했다.

Google, Gemini 4 Argon 일반 공개… 벤치마크와 가격 정리

구글은 Gemini 4 세대의 첫 모델인 Gemini 4 Argon을 일반에 공개했으며, Google AI Pro 및 Ultra 구독자가 Gemini 앱에서 사용할 수 있게 됐다. Artificial Analysis Intelligence Index에서는 53점으로 GPT-6 Astra와 나란히 올랐고, API 도입 가격은 입력 100만 토큰당 $2, 출력 $10이다.

Perplexity@perplexity_aiAI 점수3939

Gemini 4 Argon이 WANDR에서 신기록을 세웠다. 현재 Perplexity에서 Pro 및 Max 구독자를 대상으로 제공되고 있다.

Mistral AI@MistralAIAI 점수2121

le Chonk도 로켓 과학에 관심이 있는 모양이다. Mistral Large 4가 Ulam의 비공개 벤치마크 STEMBench의 공학과 천문학 부문에서 우수한 성적을 거뒀다. https://www.ulam.ai/stembench

Meta, Muse Wonder와 Muse Wonder Full 발표… 제3자 평가에서 프런티어급에 근접

Meta Superintelligence Labs(MSL)가 2세대 모델군인 Muse Wonder와 Muse Wonder Full을 발표했다. Artificial Analysis의 Intelligence Index v4.3에서 Full(max)은 56점, Wonder(max)는 52점을 기록해 Muse Spark 1.3(max)의 48점을 웃돌았다. Wonder는 입력 $4, 출력 $20(100만 토큰당), 1M 컨텍스트로 제공되며, Full은 가격이 공개되지 않았고 Muse Code 구독자에게만 제공된다.

Qwen@Alibaba_QwenAI 점수3131

@arena의 평가에 감사드립니다! 🏆 Qwen-Image-2.1은 Image Edit과 Text-to-Image 두 Arena에서 오픈소스 모델 가운데 1위를 차지했습니다. 꼭 직접 사용해 보시고, 만드신 결과물도 공유해 주세요! 🎨

최신 오픈 아티팩트(#24): Motif-3, GLM-5.3, Hy4-preview 및 오픈 모델 라이선스 동향

지푸(Zhipu)의 GLM-5.3은 GLM-5.2 이전의 MIT 라이선스에서 독자 라이선스로 변경되었다. Model as a Service를 운영하며 계열사를 포함한 연속 12개월 매출이 100억 달러를 넘으면, 상업적 이용 전에 Z.AI의 보안 심사가 필요하다. '계열사(affiliates)'의 정의가 없어 도입의 장벽이 된다는 지적이 나온다. Kimi K3와 MiniMax M3도 제한적인 조건을 두고 있다. Motif의 Motif-3은 MIT 라이선스로 공개되어 있다.

DharmaOCR, 브라질 포르투갈어 OCR 벤치마크에서 Mistral OCR4와 Unlimited-OCR 능가

DharmaOCR는 포르투갈어에 특화된 벤치마크에서 0.925점을 기록해 Mistral OCR4(0.798)와 Unlimited-OCR(0.7587)을 웃돌았다. 기사는 이 격차가 새로운 모델에도 통하는 특화 학습의 이점에서 비롯된 것이라고 설명한다. 학습은 브라질 포르투갈어 문서를 활용한 지도 파인튜닝과 Direct Preference Optimization(DPO)의 2단계로 진행됐으며, DPO는 출력의 안정성을 높인 것으로 알려졌다.

Mistral AI, Lean 4용 형식 검증 모델 「Leanstral 1.5」 공개

Mistral AI는 Lean 4에서의 형식 검증을 지원하는 Apache-2.0 라이선스 모델 「Leanstral 1.5」를 공개했다. 총 파라미터 119B, 활성 파라미터 6B 규모이며, miniF2F를 포화시키고 PutnamBench에서는 672문제 중 587문제를 풀었다. FATE-H에서 87%, FATE-X에서 34%를 기록해 새로운 state-of-the-art를 달성했으며, Hugging Face와 무료 API를 통해 이용할 수 있다.

Ethan Mollick, GPT-5.5 조기 접근으로 직접 테스트하며 발전과 남은 굴곡 평가

Ethan Mollick은 GPT-5.5에 조기 접근해 AI의 빠른 개선이 이어지고 있다고 평가했다. GPT-5.5 Pro는 3D 항구 도시 시뮬레이션에서 도시의 진화를 실제로 모델링할 수 있었던 유일한 모델이었으며, 소요 시간도 GPT-5.4 Pro의 33분에서 20분으로 줄었다. 한편 장편 픽션의 품질 등 능력의 굴곡은 여전히 남아 있다.