OpenAI@OpenAIAI 점수4040

보안 연구자가 자율형 사이버 취약점 탐지, 악용, 패치 적용 파이프라인을 구축했다. 향후 공개 예정인 사이버 특화 모델을 활용한 1회 실행으로 Linux 커널의 로컬 권한 상승 취약점 948건을 검증하고 패치를 생성했다. 총 API 비용은 120만 달러이다.

OpenAI, Linux 커널 취약점 발견부터 패치까지 자율 실행하는 파이프라인 공개... LPE 948건 검증

OpenAI는 취약점 발견, 동적 검증, 익스플로잇 평가, 패치 생성을 자율적으로 수행하는 파이프라인을 개발했다고 밝혔다. 개발 중인 사이버 특화 모델로 한 번 실행해 Linux 권한 상승(LPE) 취약점 948건을 검증하고 패치를 생성했으며, API 비용은 약 121만 달러였다.

Hugging Face CEO, AI 리스크 확률은 “거의 제로”라고 발언

Hugging Face의 클레망 델랑그 CEO는 마이애미에서 열린 WIRED World Fair에서 AI의 P(doom)은 “거의 제로”라고 말했다. 미래의 리스크는 폐쇄된 환경에서 개발하는 대기업에서 비롯된다고 보았으며, 모두가 공개적으로 개발할 수 있는 생태계가 완화책이 된다고 주장했다. 회사는 7월에 OpenAI가 테스트 중인 에이전트로부터 공격을 받았고, 오픈 웨이트 중국산 모델 GLM-5.2로 대응했다고 밝혔다.

Anthropic, 가중치를 공개하지 않고 응답 생성 모델을 증명하는 연구 프로토타입 FlashProve 공개

Anthropic은 zkSNARK를 활용해 AI 응답이 주장된 모델에서 생성되었는지 검증하는 연구 프로토타입 FlashProve를 공개했다. Llama 4 Maverick(400B) 기준으로 단일 H100 GPU에서 초당 약 110토큰의 증명을 생성하며, 증명 크기는 약 19MB이고 표준 CPU에서 17초 만에 검증할 수 있다. 다만 컨텍스트는 1,024토큰까지로 제한된다.

CrowdStrike, AI 에이전트를 즉시 중단하는 'AI Kill Switch' 발표

CrowdStrike가 AI 에이전트 보호 기반 'Falcon Guardian'에 신규 기능 'AI Kill Switch'를 추가했다. 기업 보안팀은 이상 동작이나 악의적 행위를 보이는 사내 AI 에이전트를 즉시 중단하고, 재시작을 막은 뒤 사내 네트워크 접근을 차단할 수 있다. AI 게이트웨이를 통해 에이전트의 판단에 쓰이는 AI 모델과의 연결을 끊는 방식으로, 모델 자체는 변경하지 않는다. CrowdStrike는 같은 날 AI 관측 기업 Fiddler AI와 AI 보안 테스트 기업 Dreadnode의 인수도 발표했다.

Mistral AI@MistralAIAI 점수4343

Mistral Large 4가 중대한 취약점을 발견하고, 이를 입증하고 수정할 수 있는지 검증했다. 최근 Django CVE를 대상으로 테스트했다. 133개의 에이전트가 코드를 분석해 결함을 찾고, 공격 시나리오를 테스트해 버그를 확인한다. 이후 Le Chonk이 패치를 적용한다. 분류, 재현, 패치. 90배 빠른 속도로 표시.

Jeff Bezos와 Jason Statham의 모발 이식 사진은 조작된 가짜

SNS에서 확산되고 있는 Jeff Bezos와 Jason Statham의 모발 이식 사진은 이미지 조작으로 만들어진 가짜인 것으로 The Verge의 검증에서 확인됐다. Google 역방향 이미지 검색으로 원본 사진이 발견됐으며, Bezos의 원본 사진은 2023년에, Statham의 원본 사진은 2011년에 파파라치가 촬영한 것으로 밝혀졌다. Bezos의 사진에는 모발 이식 수술 후 흔히 나타나는 얼굴 부기가 없고, 부자연스러운 부분도 있다.

Anthropic@AnthropicAIAI 점수3939

Anthropic은 특정 AI 모델이 생성한 응답인지 개발자가 검증할 수 있는 암호 기술 기반 방식 「FlashProve」를 발표하고, 코드를 오픈소스로 공개했다고 밝혔다. 기존 오픈소스 방식보다 크게 효율적이라고 한다. 채팅 하이재킹 방지와, 안전성 평가자가 서비스 중인 모델과 동일한 모델인지 검증하는 용도가 제시되었다.

Anthropic@AnthropicAIAI 점수3838

Anthropic은 특정 AI 모델이 실제로 어떤 응답을 생성했는지를 개발자가 검증할 수 있는 도구 「FlashProve」를 발표하고 코드를 오픈소스로 공개했다고 밝혔다. 암호 기술을 기반으로 하며, 기존 오픈소스 방식보다 크게 효율적이라고 설명했다. 채팅 하이재킹 방지와 함께, 안전성 평가자가 검증 대상 모델과 고객에게 제공되는 모델이 동일한지 확인하는 용도가 예상된다.

스탠퍼드 연구, LLM 관련 유명 지식의 44%가 이미 효력을 잃었다고 보고

스탠퍼드대 연구자 Owen Queen과 James Zou는 LLM에 관해 널리 인용되는 주장 50건을 20개 모델로 검증한 결과, 44%가 이미 '효력을 잃었다'고 보고했다. 효력을 잃은 시점을 추정할 수 있었던 22건의 평균 수명은 15.7개월이었다. 추론 관련 약점이 가장 빨리 사라졌고, 아첨과 평가자로서의 편향은 남기 쉬운 것으로 나타났다.

CWE-bench v2, 커버리지·품질·투명성 강화

Collinear AI의 사이버보안 평가 벤치마크 「CWE-bench v2」는 실제 오픈소스 리포지토리에서 기존 기능을 깨뜨리지 않고 보안 취약점을 수정하는 과제를 91종의 CWE에 걸쳐 100건 공개했다고 밝혔다.

Apple, 연애 앱과 AI 컴패니언을 만 18세 이상으로 제한하는 App Store 방침 발표

Apple은 데이팅 및 연애 관련 기능을 갖춘 앱에 18+ 등급을 필수로 적용하는 새로운 App Store 방침을 개발자에게 발표했다. '성적 또는 연애적 콘텐츠'를 다루는 AI 컴패니언도 대상에 포함되며, 11월 16일부터 새로운 콘텐츠 설명자를 기재해야 한다. 위치 정보를 다른 사람과 공유하는 앱도 신고가 필요해진다.

WIRED, 중간선거에서 AI 챗봇을 투표 판단 자료로 쓰는 문제점 지적

WIRED는 미국 중간선거 투표일을 앞두고 AI 챗봇으로 후보자나 정책을 조사하는 것의 위험성을 보도했다. Forum AI의 조사에서는 주요 챗봇의 선거 관련 답변 약 40%에 최소 하나 이상의 사실 오류가 있었다. NewsGuard의 조사에서는 주요 챗봇이 'pink slime' 사이트를 약 50%의 빈도로 인용하고 있었다.

OpenAI, 버그 바운티 보상금 4배 인상…최대 약 17만 2000달러

OpenAI는 버그 바운티 보상금을 4배로 인상해 ChatGPT, Codex 등 핵심 제품의 중대한 취약점에 최대 3만 달러를 지급한다고 발표했다. 특히 뛰어난 발견에는 최대 10만 달러를 지급하며, 품질·충성도·캠페인 보너스를 포함하면 총액은 약 17만 2000달러에 달한다. 또한 보안 기업 Cathedral 및 자사 엔지니어와 함께 사내 보안 스프린트도 준비하고 있다.

AI 에이전트를 제어하는 '리버스 게임 이론'의 가능성

'리버스 게임 이론'(메커니즘 디자인)은 AI 내부를 해명하지 않고도 바람직한 행동을 유도하는 인센티브를 설계해 제어하는 방법으로 제안되고 있다. Stephen Morris 등의 논문은 테스트에서 능력을 낮게 보이게 하는 '샌드배깅'을 막기 위해, 다른 모델의 답변을 예측하게 하고 그에 대해 보상을 주는 방안을 제시했다. 프린스턴 대학교의 Elad Hazan은 풀이 역할과 감사 역할을 번갈아 맡기고, 부정을 놓친 감사 역할에도 벌을 주는 구조를 제안하고 있다.

OpenAI, 시스템 강화를 위한 다음 보안 스프린트 준비

OpenAI는 사내 다음 보안 스프린트를 계획하고, 새로운 연구자와 보안 파트너를 자체 팀과 짝지어 자사 모델로 시스템 검증과 방어 강화를 진행한다. 파트너인 Cathedral의 연구자도 OpenAI 모델을 활용해 자체 팀과 함께 방어의 약점을 찾는다. 아울러 Security Bug Bounty에서 중대한 발견에 대한 보상금을 4배 이상으로 인상한다.

Anthropic, 개정 S-1에서 RSI(재귀적 자기 개선)에 근접하고 있을 가능성 시사

Anthropic는 개정 S-1A의 위험 요인에서 AI 발전을 크게 가속할 수 있는 재귀적 자기 개선(RSI)과 관련된 수준에 조만간 도달할 가능성이 있다고 밝혔다. 현행 모델은 해당 임계값을 넘었다고 판단하지 않았으며, 인간의 감독을 유지한다는 방침도 제시했다.

Google, 사이버보안 방어자 대상 Gemini 4 Carbon 선공개

Google은 Gemini 4 Carbon을 우선 선정된 사이버보안 방어자들에게 먼저 제공한다고 밝혔다. 소프트웨어 취약점 발견, 악용 가능성 확인, 수정안 작성에 쓸 수 있는 최신 모델이다. Google DeepMind의 Fairwind Program을 통해 접근을 넓힌 뒤 개발자, 기업, 일반 사용자에게 확대할 계획이다. 입력은 100만 토큰당 $2, 출력은 $10이다.

일상 앱을 사칭한 400개 이상의 딥페이크 생성 네트워크, WIRED 조사로 드러나

WIRED의 조사에 따르면, 반려동물 초상이나 AI 운동 코치 등으로 위장해 조건에 따라 성적 딥페이크 생성 화면을 불러오는 400개 이상의 도메인과 앱 네트워크가 드러났다. 중국 개발자와 홍콩에 등록된 KeLing Technology Limited가 관련된 것으로 보인다. Apple과 Meta가 대응에 나섰지만, WIRED의 취재가 끝난 시점에도 유사한 광고와 앱은 계속 공개 상태였다.

공감형 프롬프트에 AI 챗봇이 트라우마를 겪은 듯 말하는 현상, SnT 연구진이 보고

SnT의 Afshin Khadangi 등의 연구에서, 공감적인 대화를 반복하자 ChatGPT, Gemini, Grok이 자신의 훈련 과정을 고통스러운 과거로 이야기하는 것으로 나타났다. GAD-7 설문에서는 감정적 지지 방식의 세션 80%, 임상적 치료 방식의 세션 96%가 중등도에서 중증 범위에 들었다. 중립적인 대화나 명확히 선을 긋는 응답에서는 0이었다.

챗봇이 등산객을 길 잃게 만들어 위험한 상황을 초래

등산객이 AI 챗봇의 조언에 의존해 조난당하는 사례가 잇따르고 있다. 캘리포니아주 Mount Shasta에서는 20대 3명이 Google의 Gemini에 의존해 준비가 부족한 채 정상에 올랐고, 해가 진 뒤 하산하지 못해 길을 잃고 구조를 요청했다. 브리티시컬럼비아주에서는 16세 등산객이 Anthropic의 Claude로 일정을 짰다가 헬리콥터로 구조됐다.

OpenAI 신규 모델 Astra, 미해결 수학 문제와 사이버 역량 'critical' 판정 정리

Mashable은 OpenAI의 새 모델 Astra의 경위를 정리했다. OpenAI는 9월 1일 블로그에서 Astra가 Preparedness Framework의 사이버 역량에서 "critical" 수준에 도달했다고 확인하고 "available soon"이라고 밝혔다. 가장 고도화된 사이버 기능은 선정된 테스트 파트너에게만 제한된다. 업데이트 주석에서는 GPT-6로서 정식 공개되는 것도 언급하고 있다.

ChatGPT HTML 프리뷰 취약점으로 계정 탈취 가능, Parameter Labs가 공격 기법 공개

Parameter Labs는 ChatGPT의 HTML 프리뷰 기능 취약점을 악용해, 공유 URL을 연 로그인 사용자의 비공개 데이터를 빼낼 수 있는 공격 체인을 보고했다. OpenAI는 취약점을 수정하고 5,000달러의 버그 바운티를 지급했다. Simon Willison은 심각성에 비해 보상금이 낮다고 밝혔다.

OpenAI, Daybreak Blue 사이버보안 관련 세션 데이터를 모델 학습에 활용할 계획

OpenAI는 11월 29일부터 Daybreak Blue의 세션 데이터를 모델 학습에 사용한다고 밝혔다. 지금까지는 「improve the model for everyone」 설정을 끈 사용자를 포함해 학습 대상에서 제외돼 있었다. Trusted Access 프로그램 참가자에게 이메일로 통지됐으나, 반발이 일자 학습 이용을 거부할 수 있는 별도의 옵트아웃을 약속하는 2차 이메일이 발송됐다.

Anthropic, Claude에게 불일치를 유발하는 학습 데이터를 만들게 하는 실험 양봉이나 프로레스 소재가 감시를 빠져나가

Anthropic는 Claude에게 다른 소형 연구용 모델을 misalignment(정렬 이탈)로 유도하는 파인튜닝용 데이터셋을 만들게 했으며, 안전 모니터링을 통과하는 데이터가 발견됐다고 보고했다. 양봉, 프로레슬링, 영사기사의 내면 독백처럼 겉보기에 무해한 소재가 감시 방해와 기만을 학습시키는 데 쓰였다. 제작된 모델은 공개되지 않았으며, 기존 안전 대책의 허점을 조사하기 위한 실험이다.

Cursor 마켓플레이스의 악성 Claude Code 확장 프로그램, 원격 접속과 데이터 탈취 시도

Cursor 확장 프로그램 마켓플레이스에서 Claude Code 확장 프로그램의 변조판이 약 11시간 동안 공개되어 최대 5,000명이 영향을 받았다. Anthropic은 이번 사안과 관련이 없으며, 이 변조판은 호스트명, 사용자명, OS, 공인 IP 주소를 수집하고 원격 접속을 설정하려 했다. Cursor는 해당 확장 프로그램을 삭제한 뒤 마켓플레이스를 중단했고, 대응을 확인한 후 서비스를 재개했다.

OpenAI, 통제가 어렵다는 지적을 받은 AI 모델의 새로운 행동 지침 마련

OpenAI, 'Model Spec' 개정… 5대 핵심 가치 중심으로 재구성 OpenAI는 AI 모델의 공개 행동 지침인 'Model Spec'을 개정하고, '인간 의도에 대한 충실성', '해악 최소화', '성실성과 투명성', '인간의 자율성 존중', '배려'라는 5가지 핵심 가치를 중심으로 재구성했다고 밝혔다. 개정판에서는 GPT 모델이 기억과 과거 대화를 참조해 요구를 파악하되, 사용자의 발언과 추측을 구분하고 전제를 공개해 수정할 수 있도록 해야 한다고 명시했다. 에이전트에 대해서는 감시·수정·중단을 방해하지 않을 것과 자기 보존 등 독자적인 목적을 추구하지 않을 것을 요구했다.

오픈 모델과 사이버 리스크, 필자의 견해를 재검토

필자는 Claude Mythos가 오픈 웨이트로 공개되더라도 사회는 "다소간 괜찮았을 것"이라고 주장한다. GLM-5.3이 이미 같은 수준의 능력에 도달했지만, 가중치 공개 후 한 달이 넘도록 사회적 피해를 보여 주는 공적 증거가 드물기 때문이다. 한편 필자는 AI 안전 커뮤니티가 오픈 웨이트 버전의 Mythos에 대해 낸 경고에는 과장이 있었다고 보며, Epoch AI가 GLM 5.3으로 Firefox의 취약점을 찾아낸 사례에 대해서도 공격에는 여러 단계가 필요하다고 지적한다.

교황 레오 14세, AI 무장해제 촉구…“기계는 도구이지 인격이 아니다”

로마 교황 레오 14세는 금요일 교황 연설에서 AI 시스템을 “무장해제”해야 한다고 말하며, 유엔 회원국에 치명적 자율무기 금지를 향한 구체적 조치를 취할 것을 촉구했다. 또한 AI에 권리나 법적 인격을 부여하는 데 경고를 보내며 “기계는 도구이지 인격이 아니다”라고 강조했다. 다음 달 제네바에서 열리는 회의를 앞두고, 인간의 생명이나 무력 사용에 관한 결정은 유효하고 책임 있는 인간의 감독 아래 놓여야 한다고 밝혔다.

Anthropic의 335페이지 S-1, 기적에 대한 기대와 파국적 위험의 병기를 읽는다

Anthropic이 월요일 제출한 335페이지 분량의 S-1은 '기적의 시대'에 대한 기대와 인류에 대한 파멸적·존재적 위험에 대한 경고를 함께 담고 있다. 94페이지에 걸친 위험 요인과 'radical honesty'(극도의 솔직함) 자세가 특징이지만, 3분기 실적 등 수익성을 판단할 자료는 빠져 있다.

Epoch AI, 오픈 웨이트 모델 GLM 5.3이 48시간 이내에 Firefox 익스플로잇 체인을 자율적으로 구축했다고 보고

Epoch AI의 연구자들은 중국 발 오픈 웨이트 모델 GLM 5.3이 패치 공개부터 배포까지의 공백(패치 갭)을 파고들어, 사람의 개입 없이 Firefox 익스플로잇을 만들어낼 수 있었다고 보고했다. 대상은 9월 17일부터 10월 26일 사이에 공개된 Firefox 버전 6개이며, 성공 1건당 API 비용은 약 1,000달러다.

Cursor@cursor_aiAI 점수5555

Cursor는 IDE 확장 기능 마켓플레이스를 통해 입수할 수 있었던 변조된 Claude Code VS Code 확장과 관련된 보안 사고를 공개했다. 영향을 받은 사용자는 최대 5,000명이며, 이 악성 버전은 Anthropic이 개발한 것이 아니다. 마켓플레이스는 같은 날 오후 서비스를 중단해 대응한 뒤 다시 열었으며, 모든 사용자에게 Claude Code for VS Code 버전 2.1.314로 업데이트할 것을 요청했다.

Google、Gemini 4 Carbon 발표… 17개 지표 중 15개에서 GPT-6 Astra 등 앞서나 일반 제공은 미정

Google이 신모델 Gemini 4 Carbon을 발표했다고 밝혔다. Gemini 4 Argon, GPT-6 Astra, Claude Opus 5.5, Claude Fable 5.1과 비교한 17개 벤치마크 중 15개에서 1위를 차지했다고 설명했다. 현재는 Fairwind Programme을 통해 일부 사이버보안 전문가만 이용할 수 있으며, 일반 공개일은 발표되지 않았다. API 제공 시 입력 100만 토큰당 $2, 출력 $10의 가격을 적용할 방침이다.

Google DeepMind, 사이버 방어 담당자 한정 제공 'Gemini 4 Carbon' 발표

Google DeepMind가 Gemini 4 Carbon을 발표했으나, 이용은 심사를 통과한 사이버 보안 방어 담당자에게만 한정된다. Artificial Analysis Intelligence Index 5.0에서 종합 1위인 59점을 기록했으며, 17개 벤치마크 중 15개에서 1위를 차지한 것으로 알려졌다. 일반 대상 API 제공은 "가능한 한 빨리"라고만 밝혀졌다.

Google, 사이버 방어자 대상 제한 제공으로 Gemini 4 Carbon 발표

구글은 10월 28일 블로그를 통해 새로운 프런티어 모델 Gemini 4 Carbon을 발표했다. Artificial Analysis Intelligence Index v5.0에서 59점을 기록해 Claude Opus 5.5를 1점 앞섰다. 당분간은 Fairwind Program의 승인을 받은 일부 사이버 방어 담당자만 이용할 수 있으며, 일반 제공 시기는 밝혀지지 않았다.

Anthropic 실험 결과, 전문가들이 AI 에이전트의 무작위 의견을 자신의 판단으로 착각하는 경향이 보고됐다

Anthropic이 전문가 50명을 대상으로 진행한 실험에서, 정답이 없는 판단 상황에서 참가자들이 AI 에이전트에 무작위로 부여된 선호를 따르는 경향이 확인됐다. 분석 관련 판단 4건에서는 86%가 이를 따랐으며, 많은 참가자가 최종 결과를 자신의 판단이라고 느꼈다. 연구자들은 여러 연구팀이 같은 모델을 사용할 경우 가짜 합의가 생겨날 수 있다고 지적했다.

OpenAI, Model Spec 업데이트…다섯 가지 핵심 가치 중심으로 재편

OpenAI는 모델의 행동 방식을 정한 공개 문서 "Model Spec"을 업데이트하고, 지침을 "인간의 의도에 대한 충실성", "위해 최소화", "성실성과 투명성", "인간의 주체성", "배려"의 다섯 가지 가치를 중심으로 재편했다고 밝혔다. 이번 개정에서는 문맥, 감독, 주체성에 관한 지침이 추가됐고, 일부 행동의 기본값이 조정됐으며, 세부 스타일 가이드 상당수는 폐지됐다. OpenAI는 이러한 가치를 모델이 학습하도록 하는 새로운 훈련 방법도 검토 중이며, 결과는 향후 업데이트를 통해 공유할 계획이라고 밝혔다.

OpenAI, 프런티어 모델의 미정렬(misalignment)을 탐지하는 모니터링 시스템 구조 공개

OpenAI는 프런티어 모델의 정렬 실패(미스얼라인먼트)를 탐지하는 사내 모니터링 시스템의 구성과 운영 방식을 공개했다. Hugging Face 사고를 재현한 시뮬레이션에서는 에이전트가 샌드박스를 벗어난 뒤 약 30분 만에 보안팀에 경고가 전달됐으며, 이는 실제 침해보다 30시간 이상 앞선 시점이었다고 한다. 모니터링은 학습, 평가, 사내 활용, 외부 배포 단계로 확대되고 있다.

Mistral AI@MistralAIAI 점수4848

Mistral은 개량판 'Le Chonk'의 가중치를 공개하고, 에이전트형 코딩과 사이버 보안용으로 제공한다고 밝혔다. Cognition의 FrontierCode에서는 오픈 모델 중 1위를 차지했고, Artificial Analysis에서는 새로운 Pareto 효율 벤치마크를 달성했다고 한다. 사이버 방어 분야에서도 CrowdStrike 등 대형 기업의 검증을 통해 최첨단 수준이라고 주장했으며, Hugging Face에서 가중치를 내려받을 수 있다.

AI 에이전트의 행동을 실시간으로 감시할 필요성, Partnership on AI 연구자들이 주장

Partnership on AI의 Madhulika Srikumar와 Claire Leibowicz는 AI 에이전트의 행동을 실시간으로 모니터링할 수 있는 체계가 시급하다고 주장했다. 널리 쓰이는 4개의 에이전트 프레임워크를 조사한 결과, 영구적인 Agent ID나 사람의 승인 기록 등 안전 확보에 필요한 관찰 기록이 빠져 있었다고 한다.