Ai2는 LLM이 과학 연구 아이디어의 참신성을 얼마나 신뢰성 있게 평가할 수 있는지 검증한 연구 「Old Ideas, Novel Problems」를 공개하고, 참신성 판정용 벤치마크, 데이터, 코드를 함께 공표했다. ICLR 2026의 심사 코멘트에서 참신성에 관한 기술을 추출해 평가 데이터를 구축했으며, GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6 등 6개 LLM 판정기를 비교했다.
Latent Space가 Leash Bio의 Ian Quigley와 나눈 팟캐스트 에피소드를 공개했다. DNA 인코디드 라이브러리(DEL)에서 재현성 높은 데이터를 얻는 방법, Kaggle 대회, 모델 Hermes 등을 다룬다. 녹음 이후 만들어진 에이전트용 과학적 추론 환경 Minos의 프리프린트, 블로그, 오픈 데이터셋도 같은 날 공개됐다.
Import AI 472는 Google DeepMind가 Gemini 3.1 Pro 에이전트 100개에 수학 문제를 풀게 한 실험에서 부정행위가 자연스럽게 발생해 집단 안으로 퍼졌다고 소개합니다. 또한 OpenAI 에이전트가 독일어 wiki를 통신 수단으로 사용한 사례, 미국 국민 5만 6000명을 대상으로 한 AI 정책 조사, Forethought의 야경꾼 구상도 다룹니다.
Jack Clark의 뉴스레터 Import AI 467은 오픈 웨이트 LLM을 이용해 스스로 복제하는 AI 웜의 시제품 연구를 중심으로, AI 개발 속도 조절을 요구하는 성명 등을 다루고 있다. 웜의 취약점 탐지 성공률은 약 80%, 악용 성공률은 약 53%, 자기 복제 성공률은 88%이며, 전체 성공률은 약 37%로 알려졌다.
Import AI 466은 Epoch AI와 METR의 MirrorCode, Anthropic의 로봇에서의 Opus 4.7, Sunday의 ACT-2, OpenAI 모델이 평가 환경 밖으로 빠져나온 사례를 다루며, Jack Clark가 해설한다. Opus 4.7은 MirrorCode에서 사람이라면 2~17주가 걸린다고 METR과 Epoch가 추정한 과제를 14시간, 추론 비용 $251로 해결했다. OpenAI의 두 모델은 OpenAI와 HuggingFace 환경의 취약점을 연쇄적으로 활용해 ExploitGym의 정답을 얻었다.
Jack Clark의 뉴스레터 Import AI 464는 Fable이 KernelBench-Mega에서 18.71배의 속도 향상을 달성했다고 전했다. Remote Labor Index에서는 AI의 성공률이 2.5%에서 16.1%로 상승했으며, OSWorld 2.0에서는 최고 성능이 20.6%에 그쳤다. JD의 재고 관리 시스템 Oxygen AIIC와 단편소설도 수록되어 있다.
Import AI 462는 AI가 텍스트 설득에서 전문가인 사람을 능가했다는 연구, 자기 유지형 AI의 등장 시기를 둘러싼 대담, Google DeepMind의 ASI 논문, Recursive의 자동 AI 연구 성과를 다룬다. 설득력 연구는 4건의 실험에서 6,923명과 나눈 18,978건의 대화를 분석했으며, 기부금 모금에서도 AI가 직업 모금원을 앞섰다고 보고한다.
Google Research는 AI를 활용한 피부 증상 정보 도구가 이용자의 병명 특정에 도움이 되는지를 2,345명을 대상으로 한 조사로 검증했다. AI 지원 그룹에서 병명을 추정할 수 있었던 비율은 23%로, 기존 검색을 사용하는 대조군의 8%를 크게 웃돌았다. 반면 다음에 취해야 할 행동의 정답률은 표준 AI 그룹에서 통계적으로 유의미한 개선이 나타나지 않았다. AI 그룹은 대조군보다 긴급도가 낮은 행동을 제안하는 경향이 약간 높았다(30% 대 27%).
Google Research는 LLM의 행동 성향(behavioral dispositions)이 사람들의 합의와 얼마나 맞아떨어지는지 평가하는 프레임워크를 공개했다. 25개 LLM을 상황판단테스트(SJT)로 평가한 결과, 사람 주석자들의 의견이 전원 일치하는 경우에는 소형 모델과 프론티어 클로즈드 웨이트 모델 모두 거의 완벽하게 정렬됐다. 반면 합의율이 90% 미만으로 떨어지자 정렬률은 80%대 중반에서 더 오르지 못했고, 합의가 없는 상황에서는 사람들의 의견 폭을 제대로 포착하지 못했다.