LiveMACE: 변화하는 시장에서 LLM 에이전트 능력의 과정 중심 평가
LiveMACEBench는 실시간 금융 시장에서 지속형 LLM 에이전트를 평가하는, 의사결정 트레이스를 활용한 과정 중심 벤치마크다. 5개 프런티어 LLM을 30일간 평가한 결과, 실현 수익이 능력별 측정치와 어긋나는 '성과와 능력의 격차'가 나타났다. 의사결정 트레이스에 기반한 진단에서는 능력마다 서로 다른 병목이 드러났다.
LiveMACEBench는 실시간 금융 시장에서 지속형 LLM 에이전트를 평가하는, 의사결정 트레이스를 활용한 과정 중심 벤치마크다. 5개 프런티어 LLM을 30일간 평가한 결과, 실현 수익이 능력별 측정치와 어긋나는 '성과와 능력의 격차'가 나타났다. 의사결정 트레이스에 기반한 진단에서는 능력마다 서로 다른 병목이 드러났다.
Google DeepMind가 텍스트, 이미지, 오디오, 비디오, 코드를 공통 임베딩 공간에 매핑하는 오픈 임베딩 모델 EmbeddingGemma 2를 공개했다. Gemma 4 아키텍처를 기반으로 한 740M 파라미터 모델이며 Apache 2.0 라이선스로 제공된다. MTEB Code 점수는 68.76에서 78.68로 올랐고, 컨텍스트 윈도우는 8K 토큰으로 확대됐다.
Claude Code v2.1.292에서는 `claude plugin install`에 `--marketplace` 옵션, Agent 도구에 `effort` 매개변수, 환경 변수 `CLAUDE_CODE_OVERLOADED_RETRY_BASE_DELAY_MS`가 추가됐다.
Mistral Large 4는 사이버 보안 분야에서 세계 최강 수준의 AI 모델 중 하나이다.
Atlassian과 OpenAI가 협력을 확대해 프런티어 모델과 기업 지식을 연결하고, 팀의 계획 수립, 구축, 제공을 지원한다고 밝혔다. 원문은 협력 확대의 목적만 제시하고 있으며, 구체적인 기능, 제공 시기, 요금 등의 세부 사항은 나와 있지 않다.
Google Research는 Google Earth AI의 인구동태 기반 모델(PDFM)이 생성하는 장소 임베딩 표현을 다섯 가지 공중보건 과제로 평가했다. PDFM은 검색 동향, 사람의 이동, 건물 밀도, 기상·대기질 등을 통합한 임베딩으로, 과제별 미세조정 없이도 기존 입력과 같거나 그 이상의 결과를 보였다. 미국·캐나다 국경의 146개 카운티에서는 MMR 백신 접종의 설명 분산이 상대적으로 36% 향상됐고, 콜레라 발생 예측에서는 4주 앞의 AUPRC가 9.7% 개선됐다.
Nathan Lambert는 오픈 모델의 사이버 리스크를 둘러싼 논의가 지나치게 단순화되어 있으며, 규제가 미국의 AI 경쟁력을 해치고 장기적으로 오히려 위험을 키울 수 있다고 주장한다. Anthropic의 GLM-5.3 관련 보고서에 대해서는 금지의 영향이나 중국 기업이 공개를 안전하다고 보는 이유를 깊이 다루지 않았다고 비판한다. 오픈 모델을 금지한다면 클로즈드 모델의 공개 API도 불법으로 해야 한다고 论述한다.
주요 게시물의 본문이 URL만으로 되어 있어 번역할 수 있는 텍스트가 없습니다. https://x.com/MistralAI/status/2107467399150903714
통신사업자는 비용 절감에 그치지 않고 신뢰성, 통제성, 커스터마이즈 가능성을 이유로 오픈 모델을 중심으로 AI 전략을 구축하고 있다. NVIDIA의 「State of AI in Telecommunications」 보고서에서 응답자의 89%는 오픈소스 모델과 소프트웨어가 자사 AI 전략에 중요하다고 답했다.
Mistral은 총 파라미터 1조, 활성 파라미터 520억의 네이티브 멀티모달 모델 Mistral Large 4(ML4)의 공개 프리뷰를 시작했다. 프리뷰 API는 Mistral Studio에서 체험할 수 있으며, 가중치는 이번 달 말 공개될 예정이다. 코딩, 에이전트형 워크플로, 멀티모달 이해에서 높은 성능을 보인다고 밝혔으며, Artificial Analysis Cyber Index에서는 세계 상위 5개 모델에 든다고 밝혔다.
선정 이유: 사이버보안, 금융, 법무 분야의 평가 결과와 함께 학습 인프라 및 RL 운영 규모까지 공개되어, 오픈 웨이트 대형 모델의 위치를 비교하기 쉽다.
Jump Trading은 ChatGPT를 활용해 정량(퀀트) 연구의 규모를 키우고 있다. 기사에서는 장시간 실행되는 AI 워크플로가 여러 데이터 소스와 사람의 검토를 결합하는 형태로 소개된다.
OpenAI는 사내 프런티어 모델을 활용한 수학 미해결 문제의 새로운 성과를 공표했다. Lean을 이용한 증명의 형식화와 연구의 세부 내용은 GitHub에서 공유하고 있다.
OpenAI와 Ironclad는 복잡한 계약 워크플로에서 AI 에이전트를 훈련·평가하며 전문 업무에서의 컴퓨터 사용 역량을 높이고 있다. 원문은 계약 업무 맥락에서 이 시도를 소개하는 내용이다.
Reflection은 코딩, 에이전트, 과학 분야를 겨냥한 텍스트 전용 MoE 모델 Beam(총 파라미터 501B, 활성 파라미터 23B)을 발표했다. 처음부터 학습한 모델이며, Apache 2.0 라이선스의 가중치는 이번 달 공개될 예정이다. Latent Space는 GLM 5.3과 DeepSeek V4.1 Flash 등이 전반적으로 앞서 있다고 지적했다.
Claude Code v2.1.291이 공개됐다. 2.1.290에서 발생하던, 클라우드 세션에서 권한 확인 프롬프트에 대한 응답이 사라질 수 있는 버그를 수정했다. 또 2.1.288에서 발생하던, 종료 시 세션 마지막 메시지가 사라질 수 있는 버그도 수정했다.
Comcast와 Booz Allen은 Project Glasswing에 따라 Claude Mythos Preview를 활용해 여러 컴포넌트에 걸친 취약점을 발견했다고 밝혔다. Comcast는 258개의 핵심 시스템, 약 1억 7000만 행의 코드를 평가해 인증 관련 치명적 취약점을 찾아냈으며, 악용 흔적이 확인되기 전에 수정했다. Anthropic은 이번 주 확장판 Cyber Verification Program(CVP)도 시작했다.
선정 이유: 단일 취약점이 아니라 여러 요소에 걸친 공격 체인을 두 기업이 어떻게 검증하고 수정으로 이어갔는지를 구체적인 수치와 함께 보여준다.
Anthropic은 Cyber Verification Program(CVP)을 확대해, 인증을 받은 보안 전문가에게 Defense Access, Red Team Access, Specialized Access의 3단계로 고급 사이버 역량을 제공한다고 밝혔다. 각 단계에서 Claude Opus 5.5, Claude Sonnet 5.5, Claude Mythos 5.1과 향후 신규 모델을 사용할 수 있다. Project Glasswing 참여 조직은 Specialized Access로 이동한다.
선정 이유: 세 가지 액세스 단계별 대상자, 인증 요건, 차단 범위와 CyScenarioBench 검증 결과가 함께 제시되어, 운영상의 경계를 파악하기 쉽다.
Claude Platform은 Models API에 capabilities.server_tools를 추가했다. GET /v1/models와 GET /v1/models/{model_id}를 통해 각 모델이 web search 도구와 code execution 도구를 지원하는지 확인할 수 있게 됐다.
Anthropic이 Claude Code v2.1.290을 공개했다. mod의 `turn.step` 훅에 `serverToolUses`를 추가했으며, `claude attach`와 `claude logs`에서는 세션 이름의 일부를 지정할 수 있게 됐다. 권한 판정, 예약 작업, /ultrareview 관련 수정도 다수 포함됐다.
Google Research는 50명 이상의 학계·산업계 전문가와 함께 정리한 워크숍 보고서 「Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle」을 공개했다.
GitHub가 AI 코드 리뷰를 위한 오프라인 벤치마크 「ReviewBench」를 공개했으며, 현재 이용할 수 있다. GitHub의 PR 1억 3,900만 건(103.9M)의 분포를 바탕으로 19개 언어, 공개 PR 219건으로 구성되며, 사람 리뷰어, 프론티어 LLM, 정적 분석으로 만든 골든 세트를 사용한다. 시니어 엔지니어가 독립적으로 검증한 결과 96.6%의 일치율을 보였으며, Copilot code review의 오프라인 평가 역시 실제 운영 실험의 방향을 더 쉽게 예측할 수 있게 되었다.
경영진 300명을 대상으로 한 조사에 따르면, 에이전트형 AI 프로젝트 가운데 실제 운영 단계까지 가는 비율은 평균 34%에 그쳤으며, 지식과 컨텍스트의 부족이 주요 원인 중 하나로 꼽힌다. 실운영을 먼저 추진하고 있는 선도 조직에서는 파일럿 단계를 넘어 진행되는 프로젝트가 평균 61%였고, 특히 의미 기반(시맨틱) 지식이 강한 것으로 나타났다. 데이터 파편화를 과제로 꼽은 응답은 55%였으며, 투자 우선순위로는 RAG와 지식 그래프 등이 앞섰다.
OpenAI가 EU 규칙에 따른 텍스트 전자 워터마크(watermarking) 대응 방침을 밝혔다. 워터마크가 적용되는 범위와 탐지 방식을 설명했으며, 탐지 기능에 대한 접근은 우선 연구자부터 시작한다고 밝혔다.
2026년 기업 AI에서는 예측 모델이 통계적 예측을 능가하는지 여부는 이미 판가름 났으며, 예측 결과를 바탕으로 자율적으로 판단하면서도 사업 의도에서 벗어나지 않는 구조가 핵심 쟁점이 되고 있다. 딥러닝과 생성형 AI를 활용한 지능형 분석에서는 실시간 학습을 통해 분기별 업데이트를 기다리지 않고 지속적으로 진화할 수 있으며, 비정형 데이터도 활용 대상으로 확대되고 있다. Everest Group의 Vishal Gupta는 "모든 것이 AI가 되어가고 있다"고 말했다.
NVIDIA Inception의 신생 기업들이 유방암 진료의 검사에서 치료 예측에 이르는 각 단계를 AI로 지원하고 있다. iSono Health의 웨어러블형 3D 초음파 시스템 ATUSA는 한쪽 유방을 약 2분 만에 촬영할 수 있으며, 회사에 따르면 손으로 잡는 2D 초음파보다 감도가 28% 높다고 한다. 미국의 제휴 클리닉에서 상용 제공되고 있다. Ataraxis AI는 일반 병리 슬라이드 등 디지털 데이터로부터 치료 반응과 재발 위험을 예측하는 AI를 개발하고 있다.
Import AI 475는 Toby Ord의 스웜 확장 분석, Google DeepMind의 SynthID Bio, CSAIP 여론조사 등을 다루고 있다. Ord의 분석에 따르면 4개 에이전트로 이루어진 스웜은 같은 성능을 내기 위해 총 토큰 수가 약 2배 필요하지만, 에이전트 1개당으로는 절반이면 된다. 또한 병렬 실행을 하면 이론상 시간은 절반으로 처리할 수 있다. SynthID Bio는 3종류의 단백질 실험에서 워터마크를 넣지 않은 설계와 동등한 성적을 보였다고 한다.
OpenAI가 ChatGPT에 새로운 비주얼 광고 형식을 도입했다. 아울러 광고주를 위해 측정 도구, 어트리뷰션 제휴, 브랜드 적합성(브랜드 스위터빌리티) 기능을 확대한다.
미국에서는 AI가 자신과 사회에 해를 끼친다고 보는 성인이 이익을 기대하는 성인보다 많은 반면, 이용자 수는 계속 늘고 있다. ChatGPT는 5월에 월간 사용자 10억 명을 돌파했으며, Pew에 따르면 미국 성인의 절반이 챗봇을 이용한다. 필자는 미움을 받는 것은 기술 자체가 아니라 모든 상황에서 AI를 강요하는 기업의 태도라고 본다.
MIT Technology Review가 주최한 EmTech Future 2026의 전 프로그램을 온디맨드로 시청할 수 있게 되었다. Google Research의 Yossi Matias는 AI가 생물학, 인프라, 제조, 과학을 바꾸기 시작했으며, 다른 분야와 만날 때 가장 큰 영향이 나타난다고 말한다. Google Quantum AI의 Hartmut Neven 등도 연사로 나섰으며, 구독자는 20% 할인된 $596에 시청할 수 있다.
Anthropic의 Claude Platform 릴리스 노트가 갱신되어 10월 7일 Claude Haiku 5.5(claude-haiku-5-5)가 공개됐다. 100만 토큰 컨텍스트 윈도우와 128k 최대 출력 토큰을 갖췄다. 10월 14일에는 OpenTelemetry 출력이 베타로 추가됐으며, Claude Sonnet 5.5의 캐시 읽기 가격은 100만 토큰당 $0.10으로 내려갔다.
선정 이유: 모델 추가, 가격 개정, 호환성 깨지는 변경, Managed Agents의 새 기능이 날짜순으로 정리되어 있어 마이그레이션 시 확인해야 할 변경 사항을 쉽게 따라갈 수 있다.
MemPilot은 강화학습을 통해 질의에 따라 멀티모달 에이전트 메모리의 정리 방식을 동적으로 선택하는 프레임워크다. 질의와 무관한 메모리 검색과 원시 멀티모달 이력의 정리를 LLM·VLM에 위임하는 처리를 전환하며, 성능, 비용, 지연 시간 사이의 트레이드오프를 조정한다. 5개의 멀티모달 에이전트 메모리 벤치마크에서 평가되었으며, 선호도를 바꿨을 때 트레이드오프 프런티어가 기존의 트레이드오프 고려형 베이스라인보다 넓은 것으로 나타났다.
Claude Code v2.1.289가 출시되었으며, 버그 수정이 중심이다. 짧은 코드 블록에서 터미널이 멈추는 문제와, symlink를 통한 파일에 Read의 deny 규칙이 적용되지 않는 문제 등이 수정되었다. 추가 기능으로는 teammates용 agent.spawn이 더해졌다.
Microsoft와 Hugging Face는 AI 에이전트가 남기는 백엔드 상태와 부작용으로 채점하는 벤치마크 ThinkingBox를 공개했다. 507개의 업무 워크플로를 각각 20회씩 실행했으며, Claude Opus 5.5가 pass@1 67.16%로 최상위를 기록했다. OpenEnv를 통해 자신의 모델도 평가할 수 있다.
선정 이유: 최종 응답이 아니라 DB 상태를 기준으로 채점하고, 20회 반복에 걸친 일관성과 비용까지 수치로 비교했다는 점에서 에이전트 평가 설계를 고민할 때 참고할 만한 자료다.
Latent Space의 AINews가 2026년 1월 10일~2일 X, Reddit 등 각종 커뮤니티의 화제를 정리했다. OpenAI의 GPT-6.1 Sol은 입력·출력 100만 토큰당 $2/$10이며, Agent Arena에서는 Sol [Max]가 5위, Sonnet 5.5 [Max]가 3위에 올랐다고 소개했다. 에이전트 인프라, 연구, 추론 하드웨어, 정책 관련 화제도 함께 실렸다.
Anthropic이 Claude Code v2.1.288을 공개하고 /code-review에 `--max-findings` 옵션을 추가했다. 일반 상한보다 많거나 적은 지적 사항을 보고할 수 있으며, `--max-findings default`를 전달할 때까지 지정한 값이 재사용된다. 또한 응답 도중 API 타임아웃이 발생해도 턴이 실패하지 않도록 수정했고, `/login`이 인증 정보를 저장하지 못한 경우에도 "Login successful"이 표시되던 문제를 고쳤다.