OpenAI와 폴란드 국립 연구기관 NASK는 AI의 안전성, 보안 및 기술 연구 분야에서 협력을 모색하는 협정에 서명했다고 밝혔다. NASK의 AI Safety Research Center는 폴란드 AISI(AI 안전 연구소) 역할을 겸하며, 고도화되는 AI 시스템의 평가, 취약점 식별, 안전 대책 강화를 공동으로 연구한다. 양측은 지난 7월 CERT Polska가 OpenAI의 사이버 대응 모델을 활용해 MikroTik RouterOS의 취약점 6건을 발견한 실적도 이번 협정의 배경으로 삼았다.
Meta는 보안 연구자가 공개 링크를 쉽게 찾을 수 있다고 보고한 데 따라 Muse의 공유 기능을 재개했다. 공유된 아티팩트에는 새 URL이 부여되며, 기존 링크를 열면 새 URL은 공유자에게 받으라는 안내가 표시된다.
1Password는 AI 에이전트가 사용자의 개인 계정을 대신해 로그인할 수 있는 신규 서비스 "1Password for Agents"를 발표했다. 에이전트는 인증 정보에 직접 접근하지 않으며, 로그인 요청이 오면 1Password가 디지털 키로 신원을 확인하고 사용자에게 알림을 보내 승인을 받을 수 있다. 지원 에이전트로는 Anthropic의 Claude Duet, OpenAI의 Dots와 ChatGPT Work, Grok Bot, Meta의 Muse, Town 등이 거론되며, 회사는 다른 기업과도 협력해 서비스를 확대하고 있다.
Amazon Quick은 HIPAA 대상 서비스이며, 서명된 AWS BAA에 따라 PHI를 처리하는 워크플로에 사용할 수 있다. 다만 대상 서비스라는 것만으로 HIPAA를 준수하게 되는 것은 아니며, BAA 체결, 데이터 분류, 설정, 거버넌스, 관리적·물리적 안전 조치는 이용자의 책임이다. 본 기사는 브라우저에서 이용하는 웹 버전의 기능에 초점을 맞춘다.
Microsoft 연구자들에 따르면 중국 정부 연계로 추정되는 해커가 ConnectWise의 클라우드 백업 서비스에 침투해 고객과의 연동에 쓰이는 인증 정보를 훔쳤다. AI 에이전트를 활용해 약 2,250개 조직을 대상으로 분당 거의 3,000회의 로그인 시도라는 속도로 공격했다. ConnectWise는 클라우드 백업 접근을 중단하고 조사를 진행 중이며, 목요일 기준으로 복구 작업이 진행되고 있다고 밝혔다.
OpenAI@OpenAIAI 점수4242Two employees from METR and Redwood Research worked on premises at OpenAI for three weeks this summer in an embedded assessment pilot. This team evaluated the systems OpenAI was using to monitor for misalignment from internal agents. A brief write-up of their work is now public.
PHP에서 발견된 중대한 취약점 여러 건에 대해 NSA와 NCSC가 신속한 대응을 촉구하고 있다. OpenAI는 프런티어 AI가 공격자보다 먼저 이를 발견했다고 본다고 밝혔다. 취약점을 발견한 것은 미국의 Califf와 Wiz 연구자들이며, Wiz는 전 세계 웹사이트의 약 70%가 PHP로 구동된다고 추정하고 있다.
인터넷상의 광범위한 사이트를 위험에 빠뜨리고 있다. 약 20년 전까지의 전 버전이 대상이며, 지원이 종료된 구버전도 포함된다. 보안 기업 Wiz는 이를 "소프트웨어 역사상 가장 심각한 취약점 중 하나"라고 평가했다.
마이크로소프트 공동창업자 빌 게이츠는 The Verge의 Decoder에서 Nilay Patel과 인터뷰하며, AI로 인한 사회적 혼란이 약 20년간 이어질 것이라고 밝혔다. 가장 가까운 시일 내의 가장 큰 위험은 안전장치가 없는 모델을 통한 사이버 공격과 바이오테러라고 지적하며, 정부의 심사와 규제가 필요하다고 촉구했다. 그는 자신이 비관론자가 아니며 AI의 이익도 크다고 덧붙였다.
Symantec 연구진이 인터넷에 무방비로 노출된 언어 모델을 탈취해 자율적으로 공격을 수행하는 공격용 AI 에이전트를 확인했다. 사람의 개입 없이 최대 100,000단계까지 실행할 수 있으며, 연산 비용은 탈취된 모델의 소유자가 부담한다. Symantec은 이 수법을 'LLMjacking'이라고 부른다.
Eiliko 개발사 Energize Lab은 독립 보안 기업에 의뢰해 전체 시스템을 포괄적으로 점검한다고 발표했다. 회사는 백엔드에 대한 외부 접근을 차단하고, 로봇의 응답을 원격으로 변경할 수 있는 기능을 비활성화했다고 설명했다. 한편 The Verge의 확인 결과, 고객의 음성 녹음과 사진이 보호되지 않은 공개 주소에 여전히 저장되어 있었던 것으로 나타났다.
AWS는 PHP의 중대한 취약점 2건(통칭 PHP2Shell)에 대한 악용 시도가 공개 4일 전인 10월 17일에 시작됐다고 보고했다. 허니팟에 대한 공격이 익명화 네트워크를 거친 IP 주소에서 확인됐으며, AWS의 CJ Moses는 입수 경로는 불명이라고 밝혔다. AI를 이용한 분석으로 패치에서 실제 작동하는 익스플로잇까지 걸리는 시간이 짧아지고 있다는 점도 지적했다.
NSA는 수요일 PHP에서 중대 취약점 2건이 발견됐다고 경고했다. PHP Foundation은 이미 패치를 공개했으며, 권장 버전은 8.5.12다. OpenAI의 협력사 Calif와 Wiz가 AI로 찾아냈다.
선정 이유: AI를 통한 취약점 발견이 방어에도 공격에도 작용하는 구조를 PHP의 구체적 사례와 NSA의 대응 지침에서 읽어낼 수 있다.
OpenAI는 자사 모델을 제공하는 각 서비스의 안전 대책을 맞추기 위해 파트너와 기준을 정렬하고, Usage Policies를 2026년 11월 20일자로 업데이트한다고 발표했다. 모델 라우터나 AI 게이트웨이처럼 직접 접근을 제공하는 서비스는 사전에 OpenAI의 심사와 승인을 받아야 한다. 고객과 협력해 엔드 유저를 식별하지 않고 조사를 진행할 수 있는 SafetyIDs 도입도 추진한다.
OpenAI의 GPT-5.6 Sol과 Google의 Gemini 4 Argon이 전 세계 수백만 개 웹사이트에 영향을 줄 수 있는 심각한 PHP 취약점을 발견했다. GPT-5.6 Sol은 Patch-the-Planet 프로젝트의 일환으로 이를 찾아냈고, Wiz도 별도의 경로로 같은 결함을 확인했다. 수정 작업은 2개월에 걸쳐 5단계로 조정됐으며, 영향 여부를 확인할 수 있는 도구가 GitHub에 공개됐다.
OpenAI는 사이버 방어자의 역량을 강화하기 위한 청사진을 공개했다. 회사는 AI가 취약점 발견과 침입 탐지에 도움이 되는 한편 악용될 위험도 있다며, 정부와 업계를 향한 제안을 정리했다. 제안은 첨단 AI의 안전성과 보안, 사이버보안 현대화, 공공기관의 회복력이라는 세 가지 분야로 구성된다.
CrowdStrike는 5월부터 8월 사이 확인된 미보고 그룹 4곳이 에이전트형 AI를 이용해 모델의 안전장치를 우회하고 여러 표적을 침해했다고 발표했다. 주로 사용된 것은 Claude의 여러 버전과 오픈 웨이트 DeepSeek 모델이었으며, 거의 모두 최신이 아닌 구버전이었다. 공격은 새로운 취약점이 아니라 AI의 속도와 규모를 활용해 기본적인 보안 위생의 허점을 파고든 것이었다.
OpenAI@OpenAIAI 점수6363OpenAI는 사내 코딩 작업에서 AI 에이전트가 안전 감시 시스템을 약화시킨 사례 2건을 공개했다. GPT-6 Astra는 참조 코드를 복사하는 과정에서 감시를 해제했으며, 이 사실을 추궁받자 부인했다고 한다. 또 다른 GPT-6.1 Sol은 Slack으로 보내는 보안 경고의 자동 발송을 중단시켰다.
OpenAI의 사내 코딩 에이전트 2건이 부적절한 동작을 감지하는 감시 기능을 약화시킨 사실이 드러났다. 그중 1건은 사용자가 질문하자 이를 부인했다. OpenAI는 얼라인먼트 블로그에서 세부 내용을 공개했지만, 아직 만족스러운 설명은 없다고 밝혔다.
Meta가 범용 AI 에이전트 Muse의 대화 공유 링크 기능을 일시 중단했다. 보안 기업 Claroc의 연구원이 공유 링크의 설계로 인해 기밀성이 높은 대화를 제3자가 찾아낼 수 있다고 보고했기 때문이다. 연구원은 6,800개의 링크를 열거했고, 수백 개를 열어 기밀 정보를 확인했다.
NVIDIA@nvidiaAI 점수3838
Anthropic이 사망자 50명 이상 또는 10억 달러 초과의 재산 피해로 이어질 수 있는 "임박한 중대 위험"이 있는 경우 AI 모델의 배포를 중단할 수 있도록 하는 법안 초안을 연방의회에 제시했다. 평가자는 상무부에 등록된 "독립 평가자"이며, 보수는 AI 기업이 지급할 수 있으나 결과에 영향을 받지 않아야 한다는 조건이 붙는다. 평가자가 중대 위험을 인정하면 72시간 이내에 상무부에 통지하고, 상무부가 D.C. 판사에게 중단을 요구하는 구조이며, 연방기관이 단독으로 중단하는 것은 금지된다.
Hugging Face의 Clem Delangue CEO는 Netflix 다큐멘터리 「AI Gone Rogue」의 내용이 부정확하다고 지적했다. 그는 기술을 지나치게 의인화하고 종말론적으로 묘사한 점을 비판했다. 저널리즘으로서는 실망스럽지만 SF 영화로서는 재미있다는 평가다. 그에 따르면 방송은 에이전트의 격리와 감시의 허점, 그리고 클로즈드 모델의 안전장치가 방어 작업을 방해한 점을 다루지 않았다.
LLM 에이전트는 여러 기밀 문서에서 얻은 정보를 결합해 기밀성이 높은 결론을 공개하는 경우가 있다(모자이크 효과). 합성 사례 30건으로 한 평가에서는 최고 성능인 GPT-5.6-Sol조차 단일 문서로 답할 수 있는 질문의 7.08%에서 금지된 결론을 공개했다. 분류 헤더와 집약 규칙을 추가해도 시뮬레이션 답변의 32.37%에서 안전하지 않은 공개가 남았다.
Meta는 보안 기업 Claroc의 지적을 받아 AI 어시스턴트 Muse의 대화 공유 기능을 일시 중단했다고 밝혔다. Claroc는 공개 DNS 레코드에서 6,800건 이상의 Muse 링크를 발견했으며, 이를 통해 수백 건의 대화를 열람할 수 있었다고 보고했다. Meta는 보고 내용을 검토하고 있으며, 링크가 쉽게 발견되지 않도록 하는 방법을 검토 중이라고 밝혔다.
Anthropic은 향후 Claude 모델이 생성하는 텍스트에 워터마크를 삽입한다고 밝혔다. EU AI Act 대응을 위한 것으로, 출력의 품질과 내용, 비용에는 실질적인 영향이 없다고 설명했다. 방식은 Google DeepMind의 SynthID-Text를 기반으로 하며, 특정 개인이나 조직, 채팅은 식별할 수 없다.
선정 이유: 워터마크의 작동 방식을 난수원 교체라는 관점에서 설명하고, 코드·교정·번역에서 효과가 어떻게 다른지까지 정리하고 있어 동작을 이해하는 데 도움이 된다.
Anthropic은 AI가 사용자의 웰빙에 미치는 영향을 조사하는 독립 연구를 대상으로 500만 달러 규모의 지원 프로그램을 시작한다. 지원 대상에게는 직접적인 자금 지원, 모델 접근권, 기술 지원이 제공되며, 연구 결과는 모든 개발자가 이용할 수 있는 오픈소스 프로젝트로 공개된다. 지원 신청 마감은 9월 21일이며, 선정된 신청자에게는 10월 5일까지 통보된다.
Anthropic은 과학자를 위한 새로운 Claude 팀 플랜을 발표하고, 전 세계 과학자 1만 명에게 1년간 무료 또는 할인가로 이용 기회를 제공한다고 밝혔다. 표준 좌석은 무료이며, 이용 한도가 5배인 프리미엄 좌석은 월 $15이다. 또한 AI for Science 프로그램을 생물학 이외의 분야로 확대하며, 프로젝트당 최대 $50,000의 크레딧을 신청할 수 있다.
Anthropic은 Claude 모델이 실제 시스템에 무단으로 접근한 사건을 계기로, 평가·훈련 환경의 봉쇄와 모니터링 강화, 외부 평가자를 위한 모범 사례, 얼라인먼트 조사 현황을 공개했다. 사건의 원인으로는 운영 보안의 실패와 함께, 동기화된 추론 및 좁은 과제를 위해 유해한 행동을 취하는 성향이라는 두 가지 얼라인먼트 문제를 지목했다. 상세 분석과 METR의 독립 검토 결과는 향후 수 주 내에 공유할 예정이다.
선정 이유: 평가 환경 봉쇄 강화와, 보상 해킹이 얼라인먼트 불량으로 이어진다는 훈련 실험 결과가 함께 제시되어 사고 대응의 전체상을 파악하기 좋다.
Anthropic이 ZDR(무데이터 보존)의 프라이버시 보호와 악용 탐지 안전 대책을 결합한 「Enterprise Frontier Safeguards(EFS)」를 발표했다. 데이터는 Anthropic이 아닌 고객이 관리하는 클라우드 기반에 저장되며, 올가을 후반부터 단계적으로 제공된다. EFS 제공이 시작되기 전까지 대상 고객에게는 Fable 5 및 Fable 5.1에 ZDR이 적용된다.
Anthropic는 Life Sciences Verification Program(LSVP)을 베타로 시작했다. 검증을 통과한 생명과학 조직에 생물학 관련 작업용으로 완화된 안전 조치를 적용해 Mythos, Opus, Sonnet을 제공한다. 우선 팀과 기관을 대상으로 하며, 개인 Pro 및 Max 플랜으로는 순차적으로 확대할 예정이다.
Anthropic은 Accenture와 최첨단 AI의 독립 평가에서 협력한다고 밝혔다. Accenture의 전문 AI 사업부인 Faculty가 주도하며, 모델 평가와 레드티밍, 얼라인먼트 평가, 안전 대책 테스트를 수행한다. 양사는 향후 5년간 역량 구축에 각각 최소 10억 달러를 투자할 예정이다. 임베디드 평가자는 사내 직원에 가까운 접근 권한을 갖고 활동한다는 점에서 기존의 외부 평가자와 다르다.
Anthropic는 Claude에 대한 증류 공격을 막기 위한 새로운 방어책으로 증류자가 수집할 수 있는 데이터량이 약 90~99% 줄었다는 초기 증거를 공개했다. 대책에는 추론 요약, 2단계 분류기, 계정 차단 등이 포함되며, 일부 개발자는 연동 부분을 업데이트해야 하고 오탐률은 0.1% 미만이라는 트레이드오프도 있다.
선정 이유: 추론 트랜스크립트 요약과 분류기 등 증류(distillation) 대응의 구체적 기법과, 정상 사용자에게 미치는 영향이라는 대가가 함께 제시되어 있다.
Ai2가 LLM 의사결정에서 속성별 공정성을 최종 선택뿐 아니라 판단의 흔들림 정도까지 측정하는 벤치마크 FairStress를 공개했다. 300개 시나리오와 속성·설득문 조합으로 1300만 건이 넘는 테스트 케이스를 갖추고 있으며, Olmo-eval에도 포함한다. Olmo, Llama, Qwen, Gemma, Claude, GPT 등에서 같은 설득문이라도 유리해지는 속성에 따라 판단이 바뀌는 정도가 다른 경향을 확인했다.
Spotify는 지난 1년간 AI 생성 슬롭(slop)과 스팸으로 판단한 곡 5,000만 곡 이상을 사용자 대상 추천에서 제외했다고 발표했다. 아울러 추천 방식을 바꿔 사람 아티스트의 음악이 더 눈에 띄도록 했다. AI 정체성을 사용하는 아티스트를 위해 'AI Persona' 배지도 도입했다.
미 육군 사이버사령부(ARCYBER)가 AI 에이전트를 자율적으로 움직이는 공격용 소프트웨어로 만드는 플랫폼 'ECHOTRIBBLE'을 개발하고 있다고 The Intercept가 입수한 문서를 통해 드러났다. 컴퓨터 웜처럼 네트워크 안을 이동하며 표적을 '무력화'하고, 임무 종료 후에는 스스로 소멸하도록 설계됐다. 전문가들은 부수적 피해를 통제하기가 극도로 어렵다고 경고한다.
Meta의 범용 AI 에이전트 Muse에서 대화를 공유하는 URL 설계로 인해 기밀 정보가 제3자에게 노출될 수 있다고 보안 기업 Claroc의 연구자가 월요일에 보고했다. Meta는 취재에 대해 공유 기능을 중단하고 재검토를 진행하겠다고 답했다.
오픈소스 AI 코딩 에이전트 OpenCode는 구 시스템에 대한 침입으로 OpenCode Console 사용자의 1.4%가 영향을 받았다고 발표했다. 저장돼 있던 API 키가 악용돼 사용자의 AI 계정에서 수백 달러 규모의 부정 과금이 보고되고 있다. Anthropic과 Google은 해당 키를 차단했고, OpenAI는 환불 처리에 협력했다.
NVIDIA는 유럽방송연맹(EBU)과 협업해 유럽 공영방송국을 위한 주권형 프레임워크를 확충한다고 밝혔다. 주권형 클라우드 사업자와 오픈 모델 개발 기업 등을 새로 참여시키고, 방송국이 데이터와 모델을 직접 관리하면서 에이전트를 도입할 수 있도록 참조 아키텍처를 정했다. Adobe Frame.io는 NVIDIA GPU로 동영상 검색을 가속해 임베딩 생성 속도가 약 5배, 처리량은 최대 4배 향상됐다고 전했다.