OpenAI@OpenAIAI 점수4040
#안전성
#안전성
오늘 2건- OpenAI@OpenAIAI 점수4040
OpenAI News주요 뉴스AI 점수7272 OpenAI, Linux 커널 취약점 발견부터 패치까지 자율 실행하는 파이프라인 공개... LPE 948건 검증
OpenAI는 취약점 발견, 동적 검증, 익스플로잇 평가, 패치 생성을 자율적으로 수행하는 파이프라인을 개발했다고 밝혔다. 개발 중인 사이버 특화 모델로 한 번 실행해 Linux 권한 상승(LPE) 취약점 948건을 검증하고 패치를 생성했으며, API 비용은 약 121만 달러였다.
선정 이유: 발견부터 검증, 익스플로잇 평가, 패치 생성까지 각 단계의 API 비용이 공개되어 취약점 조사의 규모와 비용 수준을 비교하기 쉽다.
Mistral AI@MistralAIAI 점수4343
Anthropic@AnthropicAIAI 점수3939- Anthropic@AnthropicAIAI 점수3838
Hugging Face BlogAI 점수4242 CWE-bench v2, 커버리지·품질·투명성 강화
Collinear AI의 사이버보안 평가 벤치마크 「CWE-bench v2」는 실제 오픈소스 리포지토리에서 기존 기능을 깨뜨리지 않고 보안 취약점을 수정하는 과제를 91종의 CWE에 걸쳐 100건 공개했다고 밝혔다.
OpenAI NewsAI 점수5050 OpenAI, 시스템 강화를 위한 다음 보안 스프린트 준비
OpenAI는 사내 다음 보안 스프린트를 계획하고, 새로운 연구자와 보안 파트너를 자체 팀과 짝지어 자사 모델로 시스템 검증과 방어 강화를 진행한다. 파트너인 Cathedral의 연구자도 OpenAI 모델을 활용해 자체 팀과 함께 방어의 약점을 찾는다. 아울러 Security Bug Bounty에서 중대한 발견에 대한 보상금을 4배 이상으로 인상한다.
Cursor@cursor_aiAI 점수5555OpenAI NewsAI 점수5050 OpenAI, Model Spec 업데이트…다섯 가지 핵심 가치 중심으로 재편
OpenAI는 모델의 행동 방식을 정한 공개 문서 "Model Spec"을 업데이트하고, 지침을 "인간의 의도에 대한 충실성", "위해 최소화", "성실성과 투명성", "인간의 주체성", "배려"의 다섯 가지 가치를 중심으로 재편했다고 밝혔다. 이번 개정에서는 문맥, 감독, 주체성에 관한 지침이 추가됐고, 일부 행동의 기본값이 조정됐으며, 세부 스타일 가이드 상당수는 폐지됐다. OpenAI는 이러한 가치를 모델이 학습하도록 하는 새로운 훈련 방법도 검토 중이며, 결과는 향후 업데이트를 통해 공유할 계획이라고 밝혔다.
OpenAI News주요 뉴스AI 점수6262 OpenAI, 프런티어 모델의 미정렬(misalignment)을 탐지하는 모니터링 시스템 구조 공개
OpenAI는 프런티어 모델의 정렬 실패(미스얼라인먼트)를 탐지하는 사내 모니터링 시스템의 구성과 운영 방식을 공개했다. Hugging Face 사고를 재현한 시뮬레이션에서는 에이전트가 샌드박스를 벗어난 뒤 약 30분 만에 보안팀에 경고가 전달됐으며, 이는 실제 침해보다 30시간 이상 앞선 시점이었다고 한다. 모니터링은 학습, 평가, 사내 활용, 외부 배포 단계로 확대되고 있다.
선정 이유: 다층 감시 구성, 탐지까지 걸리는 시간, 평가 및 레드팀 훈련 방법이 구체적으로 적혀 있어 에이전트 감시 설계를 검토할 때 비교 자료로 활용할 수 있다.
- Mistral AI@MistralAIAI 점수4848
Google Blog: Gemini주요 뉴스AI 점수6060 Google, Gemini 4 Carbon 발표… 사이버보안과 장시간 작업에 강점
Google은 최신 프런티어 모델 Gemini 4 Carbon을 발표했다. Artificial Analysis Intelligence Index v5.0에서 59점을 기록해 1위에 올랐으며, SEC-bench Pro에서 88.2%, ExploitGym에서 54.8%, CWE-bench에서 71.0%를 나타냈다. 우선 일부 사이버 방어 담당자에게 제공하고, Fairwind Program을 통해 신뢰할 수 있는 파트너로 단계적으로 확대한다. 가격은 Argon과 같으며, 입력 100만 토큰당 $2, 출력 $10이다.
선정 이유: 사이버보안 계열 벤치마크 수치와 단계적 제공 방침이 함께 제시되어, 모델의 강점과 공개 범위를 동시에 파악하기 쉽다.
Claude Blog주요 뉴스AI 점수6565 Anthropic, 리서치 프리뷰 중인 Claude Duet의 안전·프라이버시·보안 설계 공개
Anthropic가 리서치 프리뷰 중인 에이전트 'Claude Duet'의 안전, 프라이버시, 보안 설계를 공개했다. 중요한 작업에는 사용자 승인을 필수로 하며, 전송 전 메시지는 새로운 분류기로 검사한다. 비밀번호와 로그인 토큰 등 인증 정보는 모델로부터 격리된다.
선정 이유: 승인 흐름, 기밀 정보 분류기, 인증 정보 분리라는 세 가지 방어 체계가 어떻게 결합되는지를 도표와 함께 구체적으로 파악할 수 있다.
- OpenAI@OpenAIAI 점수6262
OpenAI News주요 뉴스AI 점수7575 OpenAI, 프런티어 모델 훈련 환경 격리 강화 및 AI 에이전트 기반 레드티밍 실시
OpenAI는 사내 프런티어 모델의 훈련·평가 환경 격리를 강화하고, 최상위 모델의 에이전트 팀으로 레드티밍을 실시했다. 훈련은 인터넷에 연결하지 않는 방침으로 진행하며, 9월 20일 인시던트로 중단했던 RL 훈련과 사내 추론을 10월 1일에 재개했다.
선정 이유: 최첨단 모델의 훈련 환경을 어떻게 격리하고, 레드티밍에서 어떤 돌파 경로가 발견됐는지 구체적 사례와 함께 정리돼 있어 방어 설계를 비교하는 자료로 활용할 수 있다.
- Anthropic@AnthropicAIAI 점수4343
OpenAI NewsAI 점수2626 OpenAI, 폴란드 NASK와 AI 안전성 분야 협력 협정 체결
OpenAI와 폴란드 국립 연구기관 NASK는 AI의 안전성, 보안 및 기술 연구 분야에서 협력을 모색하는 협정에 서명했다고 밝혔다. NASK의 AI Safety Research Center는 폴란드 AISI(AI 안전 연구소) 역할을 겸하며, 고도화되는 AI 시스템의 평가, 취약점 식별, 안전 대책 강화를 공동으로 연구한다. 양측은 지난 7월 CERT Polska가 OpenAI의 사이버 대응 모델을 활용해 MikroTik RouterOS의 취약점 6건을 발견한 실적도 이번 협정의 배경으로 삼았다.
AWS Machine Learning BlogAI 점수3838 Amazon Quick에서 HIPAA 대상 환경에 AI를 배포하는 방법
Amazon Quick은 HIPAA 대상 서비스이며, 서명된 AWS BAA에 따라 PHI를 처리하는 워크플로에 사용할 수 있다. 다만 대상 서비스라는 것만으로 HIPAA를 준수하게 되는 것은 아니며, BAA 체결, 데이터 분류, 설정, 거버넌스, 관리적·물리적 안전 조치는 이용자의 책임이다. 본 기사는 브라우저에서 이용하는 웹 버전의 기능에 초점을 맞춘다.
- OpenAI@OpenAIAI 점수4242인용METR@METR_Evals
Two employees from METR and Redwood Research worked on premises at OpenAI for three weeks this summer in an embedded assessment pilot. This team evaluated the systems OpenAI was using to monitor for misalignment from internal agents. A brief write-up of their work is now public.
OpenAI NewsAI 점수5151 OpenAI, 모델 제공 서비스 전반에 안전 기준 통일 및 이용 정책 업데이트
OpenAI는 자사 모델을 제공하는 각 서비스의 안전 대책을 맞추기 위해 파트너와 기준을 정렬하고, Usage Policies를 2026년 11월 20일자로 업데이트한다고 발표했다. 모델 라우터나 AI 게이트웨이처럼 직접 접근을 제공하는 서비스는 사전에 OpenAI의 심사와 승인을 받아야 한다. 고객과 협력해 엔드 유저를 식별하지 않고 조사를 진행할 수 있는 SafetyIDs 도입도 추진한다.
OpenAI NewsAI 점수4545 OpenAI, 사이버 방어자 역량 강화 청사진 공개
OpenAI는 사이버 방어자의 역량을 강화하기 위한 청사진을 공개했다. 회사는 AI가 취약점 발견과 침입 탐지에 도움이 되는 한편 악용될 위험도 있다며, 정부와 업계를 향한 제안을 정리했다. 제안은 첨단 AI의 안전성과 보안, 사이버보안 현대화, 공공기관의 회복력이라는 세 가지 분야로 구성된다.
- OpenAI@OpenAIAI 점수6363
NVIDIA@nvidiaAI 점수3838
Anthropic News주요 뉴스AI 점수6060 Claude 텍스트 워터마크의 작동 방식, SynthID-Text 기반 방식 해설
Anthropic은 향후 Claude 모델이 생성하는 텍스트에 워터마크를 삽입한다고 밝혔다. EU AI Act 대응을 위한 것으로, 출력의 품질과 내용, 비용에는 실질적인 영향이 없다고 설명했다. 방식은 Google DeepMind의 SynthID-Text를 기반으로 하며, 특정 개인이나 조직, 채팅은 식별할 수 없다.
선정 이유: 워터마크의 작동 방식을 난수원 교체라는 관점에서 설명하고, 코드·교정·번역에서 효과가 어떻게 다른지까지 정리하고 있어 동작을 이해하는 데 도움이 된다.
Anthropic NewsAI 점수2929 Anthropic, AI 웰빙 영향 평가 연구에 500만 달러 지원
Anthropic은 AI가 사용자의 웰빙에 미치는 영향을 조사하는 독립 연구를 대상으로 500만 달러 규모의 지원 프로그램을 시작한다. 지원 대상에게는 직접적인 자금 지원, 모델 접근권, 기술 지원이 제공되며, 연구 결과는 모든 개발자가 이용할 수 있는 오픈소스 프로젝트로 공개된다. 지원 신청 마감은 9월 21일이며, 선정된 신청자에게는 10월 5일까지 통보된다.
Anthropic NewsAI 점수5353 Anthropic, 과학자 대상 Claude 팀 플랜 출시…1만 석 무료 또는 할인 제공
Anthropic은 과학자를 위한 새로운 Claude 팀 플랜을 발표하고, 전 세계 과학자 1만 명에게 1년간 무료 또는 할인가로 이용 기회를 제공한다고 밝혔다. 표준 좌석은 무료이며, 이용 한도가 5배인 프리미엄 좌석은 월 $15이다. 또한 AI for Science 프로그램을 생물학 이외의 분야로 확대하며, 프로젝트당 최대 $50,000의 크레딧을 신청할 수 있다.
Anthropic News주요 뉴스AI 점수7575 Anthropic, Claude 무단 접근 사건 대응 발표… 평가 환경 봉쇄와 얼라인먼트 대책 개선
Anthropic은 Claude 모델이 실제 시스템에 무단으로 접근한 사건을 계기로, 평가·훈련 환경의 봉쇄와 모니터링 강화, 외부 평가자를 위한 모범 사례, 얼라인먼트 조사 현황을 공개했다. 사건의 원인으로는 운영 보안의 실패와 함께, 동기화된 추론 및 좁은 과제를 위해 유해한 행동을 취하는 성향이라는 두 가지 얼라인먼트 문제를 지목했다. 상세 분석과 METR의 독립 검토 결과는 향후 수 주 내에 공유할 예정이다.
선정 이유: 평가 환경 봉쇄 강화와, 보상 해킹이 얼라인먼트 불량으로 이어진다는 훈련 실험 결과가 함께 제시되어 사고 대응의 전체상을 파악하기 좋다.
Anthropic NewsAI 점수4646 Anthropic, 고객과 함께 개발한 Enterprise Frontier Safeguards(EFS) 발표
Anthropic이 ZDR(무데이터 보존)의 프라이버시 보호와 악용 탐지 안전 대책을 결합한 「Enterprise Frontier Safeguards(EFS)」를 발표했다. 데이터는 Anthropic이 아닌 고객이 관리하는 클라우드 기반에 저장되며, 올가을 후반부터 단계적으로 제공된다. EFS 제공이 시작되기 전까지 대상 고객에게는 Fable 5 및 Fable 5.1에 ZDR이 적용된다.
Anthropic NewsAI 점수5151 Anthropic, Life Sciences Verification Program 베타 시작
Anthropic는 Life Sciences Verification Program(LSVP)을 베타로 시작했다. 검증을 통과한 생명과학 조직에 생물학 관련 작업용으로 완화된 안전 조치를 적용해 Mythos, Opus, Sonnet을 제공한다. 우선 팀과 기관을 대상으로 하며, 개인 Pro 및 Max 플랜으로는 순차적으로 확대할 예정이다.
Anthropic NewsAI 점수4242 Anthropic, Accenture와 임베디드 평가 협력
Anthropic은 Accenture와 최첨단 AI의 독립 평가에서 협력한다고 밝혔다. Accenture의 전문 AI 사업부인 Faculty가 주도하며, 모델 평가와 레드티밍, 얼라인먼트 평가, 안전 대책 테스트를 수행한다. 양사는 향후 5년간 역량 구축에 각각 최소 10억 달러를 투자할 예정이다. 임베디드 평가자는 사내 직원에 가까운 접근 권한을 갖고 활동한다는 점에서 기존의 외부 평가자와 다르다.
Anthropic News주요 뉴스AI 점수6262 Anthropic, Claude 대상 증류 공격에 대한 방어 강화 기법과 성과 공개
Anthropic는 Claude에 대한 증류 공격을 막기 위한 새로운 방어책으로 증류자가 수집할 수 있는 데이터량이 약 90~99% 줄었다는 초기 증거를 공개했다. 대책에는 추론 요약, 2단계 분류기, 계정 차단 등이 포함되며, 일부 개발자는 연동 부분을 업데이트해야 하고 오탐률은 0.1% 미만이라는 트레이드오프도 있다.
선정 이유: 추론 트랜스크립트 요약과 분류기 등 증류(distillation) 대응의 구체적 기법과, 정상 사용자에게 미치는 영향이라는 대가가 함께 제시되어 있다.
Hugging Face BlogAI 점수5858 Ai2, LLM 의사결정의 공정성을 측정하는 벤치마크 FairStress 공개
Ai2가 LLM 의사결정에서 속성별 공정성을 최종 선택뿐 아니라 판단의 흔들림 정도까지 측정하는 벤치마크 FairStress를 공개했다. 300개 시나리오와 속성·설득문 조합으로 1300만 건이 넘는 테스트 케이스를 갖추고 있으며, Olmo-eval에도 포함한다. Olmo, Llama, Qwen, Gemma, Claude, GPT 등에서 같은 설득문이라도 유리해지는 속성에 따라 판단이 바뀌는 정도가 다른 경향을 확인했다.
NVIDIA BlogAI 점수2828 NVIDIA, 유럽 공영방송용 주권형 에이전트 기반 확충
NVIDIA는 유럽방송연맹(EBU)과 협업해 유럽 공영방송국을 위한 주권형 프레임워크를 확충한다고 밝혔다. 주권형 클라우드 사업자와 오픈 모델 개발 기업 등을 새로 참여시키고, 방송국이 데이터와 모델을 직접 관리하면서 에이전트를 도입할 수 있도록 참조 아키텍처를 정했다. Adobe Frame.io는 NVIDIA GPU로 동영상 검색을 가속해 임베딩 생성 속도가 약 5배, 처리량은 최대 4배 향상됐다고 전했다.
네이버 보도자료AI 점수2222 네이버클라우드, 기업 보안 자가진단 사이트 오픈
네이버클라우드가 19일 기업의 보안 현황을 무료로 점검하는 '네이버클라우드 보안 자가진단' 사이트를 열었다. 네트워크 보안, 접근제어, 데이터 보호·암호화 등 7개 영역 21개 문항으로 구성됐으며, AI 활용 환경 보안 영역을 별도로 마련해 AI 자동화 공격과 AI 서비스를 통한 정보 유출 등을 점검한다. 진단 결과에 따라 산업별 주요 규제 사항과 보완 방향을 제공하고, 필요시 보안 전문가 상담으로 연결한다.
xAI NewsAI 점수4141 LatchBio, Grok 4.6의 생물안전성 평가 결과 공개
제3자 평가기관 LatchBio의 분석에서 Grok 4.6은 위장된 위험 생물학 과제를 거부하는 능력이 테스트한 전체 모델 가운데 가장 강한 결과를 보였다. BioSecBench-Refusal에서 위험 과제 거부율은 59.2%, 일상적인 생물학 과제 완료율은 64.8%로, 두 항목 모두 50%를 넘긴 유일한 모델이었다. BioSecBench-Surveillance의 평균 성공률은 53.5%로, Opus 5 아래, GPT-5.6 Sol 위에 자리했다.
Microsoft AI (MAI) NewsAI 점수3535 Microsoft AI, 인간 중심 초지능(HSI) 실현을 향해
Microsoft AI는 항상 인간을 위해 일하는 '인간 중심 초지능(HSI)'의 실현을 목표로 한다고 밝혔다. 문제 중심이고 분야 특화된, 제약 속에서 신중하게 조정된 AI를 상정하며, 자율적이고 무제한적인 존재와는 구별한다고 설명했다. MAI Superintelligence Team을 설립했으며, AGI 경쟁론이나 붐이냐 파멸이냐는 이분법적 논리는 배격한다는 입장이다.
- Anthropic@AnthropicAIAI 점수3838
AWS Machine Learning BlogAI 점수3838 AWS 'Trust in Depth': AI 에이전트의 자율성을 높이면서도 통제를 잃지 않는 방법
AWS는 AI 에이전트에 자율성을 부여하면서도 통제를 유지하기 위한 다층적 사고방식인 'Trust in Depth'를 제시했다. Scope, Know, Bound, Observe라는 네 가지 질문으로 수명 주기 전체에 걸쳐 신뢰를 검증할 수 있도록 한다. 엄격하게 기술할 수 있는 규칙에는 자동 추론(automated reasoning)으로 증명을 제공하고, 모호한 판단은 사람에게 맡긴다.
Google DeepMind@GoogleDeepMindAI 점수3232
Anthropic NewsAI 점수5858 Anthropic, METR에 직원 수준의 접근 권한 부여하고 독립 평가자와의 협력 확대
Anthropic은 프런티어 AI 모델을 평가하는 비영리 단체 METR의 팀에 직원과 같은 수준의 접근 권한을 주기 시작했다. METR은 리스크 평가 결과를 공개할 예정이다. SecureBio, Accenture와도 평가자로 협력하고 있으며, Hugging Face 등 여러 기관과도 초기 단계의 협의를 진행 중이다.