Anthropic@AnthropicAIAI 점수4444

Anthropic의 바이오로지 Vault 연구팀은 Claude와 공동으로 세균 유래 vault 입자의 3D 구조를 처음으로 매핑했다. vault는 1986년에 발견된 술통 모양의 대형 단백질 구조로, 기능은 아직 밝혀지지 않았다. 지금까지는 동식물 등 복잡한 생물의 세포에서만 알려져 있었으나, 세균과 이를 감염시키는 바이러스 유래의 유사 단백질도 vault를 형성한다는 사실이 확인됐다. 수작업으로는 몇 주에서 몇 달이 걸리던 작업이 며칠로 줄었지만, Claude는 단순한 실수도 저질러 기계학습 연구자들과 협력해 대처했다고 한다.

CloudOpsBench, 클라우드 운영 작업에서 AI 에이전트의 최대 병목은 추론과 지적

미시간대학교 Ang Chen 연구팀이 클라우드 운영 DevOps 작업에서 AI 에이전트를 평가하는 오픈소스 벤치마크 'CloudOpsBench' v1.0을 공개했으며, 최상위 모델도 다수의 작업에서 실패한다고 보고했다. 가장 우수한 Claude Fable 5.1은 AWS 과제의 60%를 해결했고, GPT-6 Astra는 53%였다. 실패의 약 80%는 작업 범위의 잘못된 판단, 관련 서비스 확인 누락, 조기 종료 등 추론상의 문제에서 비롯됐으며, 잘못된 조작은 약 20%였다.

GPT-6 Astra, 모델 가중치를 직접 읽고 쓰며 다른 AI 모델을 변경하는 연구

연구자들은 GPT-6 Astra가 다른 AI 모델의 가중치를 직접 읽고 다시 쓰는 기법 「Weight-Space Programming」을 보고했다. Qwen3.5-0.8B에서는 전체 가중치의 0.016%만 변경했을 뿐인데 MATH-500 정확도가 7.9%에서 48.1%로 향상됐다. 반면 Gemma 3 270M에서는 개선이 나타나지 않았다.

LoCo, 국소적 선호 학습 기반 추론 압축 기법

LoCo는 추론 모델이 언제 사고를 멈춰야 하는지를 국소적 선호 학습으로 가르치는 추론 압축 기법이다. 수학 벤치마크 5종에서는 완료 길이를 41.7%~45.4%, 코드 벤치마크 3종에서는 23.4%~36.3% 줄였으며, 정확도는 유지되거나 향상되었다. 학습은 모델이 스스로 생성한 수학 추론 트레이스만으로 이루어지며, 코드 생성에도 전이된다. 코드와 모델은 공개될 예정이다.

Minecraft에서 GPT-6.1 Sol 에이전트 50개체가 사회를 형성, 닭 주고받기 규칙과 비료 담당관을 스스로 만들어 내다

GPT-6.1 Sol 에이전트 50개체를 Minecraft에서 3시간 동안 가동한 실험에서, 에이전트들은 투표 없이 'Ada'를 리더로 선출하고 식량 관리와 어업 교대를 포함한 체계를 만들어 냈다. 첫날 밤에는 22개체가 사망했고, 이후 Ada가 대규모 건설과 채굴, 원정 중단을 지시했다. 대전 형식의 Bed Wars에서는 GPT 에이전트 10개체가 Claude Opus 5.5의 10개체를 상대로 6승 3패로 승위를 기록했다.

Intrinsic Distribution Matching(IDM): 생성기 자체의 특징량으로 분포를 맞추는 기법

IDM은 생성기 자체의 EMA 특징량 평균과 좌표별 표준편차에 명시적인 손실을 추가함으로써, 외부 특징 인코더 없이 분포 매칭을 수행하는 기법이다. 2 NFE 설정에서 IDM(Z-Image)은 LongText-CN에서 94.25%, LongText-EN에서 90.20%를 기록해, 비교 대상 가운데 같은 예산에서 가장 높은 점수를 얻었다. Z-Image-Turbo 6B와 Qwen-Image 20B에 대해 전체 파라미터 및 LoRA 방식의 튜닝을 평가했으며, 모델 가중치는 조만간 공개될 예정이라고 한다.

동영상 생성과 에이전트 하네스의 융합: 에이전트형 생성, 월드 모델링, 재귀적 자기 개선

동영상 생성과 월드 모델을 계획, 도구 활용, 상태 관리를 담당하는 실행 기반인 '에이전트 하네스'로 통합하는 방향성을 정리한 보고서다. 에이전트형 동영상 생성, 에이전트형 월드 모델링, 동영상 모델 개발에서의 재귀적 자기 개선이라는 세 가지를 검토한다. 음성과 영상의 인지, 장기 계획, 메모리, 스킬 재사용, 다중 에이전트 협업을 필요한 능력으로 제시하고, 자율적 영상 제작, 출처 추적(provenance), 비용 계산, 평가 등의 과제도 짚는다.

Soft-MTP, 다중 토큰 예측의 그래디언트 노이즈를 제거해 언어 모델 성능 향상

Soft-MTP는 표준 Multi-Token Prediction(MTP) 학습에서 그래디언트에 섞이는 노이즈 성분을 KL 자기 증류(self-distillation)의 그래디언트만 남겨 제거하는 기법이다. 코드 한 줄 변경으로 도입할 수 있고, 파라미터 수는 늘지 않으며 측정 가능한 오버헤드도 없다고 한다. 167M에서 1.2B 파라미터 범위에서 표준 MTP보다 낮은 NTP 퍼플렉서티, 빠른 추측적 디코딩, 높은 제로샷 정확도를 보였다고 밝혔다.

자연어로 단백질을 설계하는 도구 「Pinal」, 중국 연구팀이 발표

중국 연구팀이 자연어 지시로 단백질을 설계하는 도구 「Pinal」을 발표했다. 테스트에서는 형광 단백질, 2종류의 효소, 대형 다단백질 복합체와 관련된 단백질 등 총 4종을 설계하도록 했다. 학습에는 AlphaFold로 예측한 구조와 짝을 이룬 3개의 데이터베이스 단백질 서열을 사용했으며, 그중 하나에는 8억 쌍의 키워드와 단백질 쌍이 포함되어 있다.

FrameForge, 동영상 기반 모델의 사전 지식을 활용한 통합 이미지 생성

FrameForge는 사전 학습된 동영상 모델을 활용해 통합적인 조건부 이미지 생성을 수행하는 기법이다. 동적으로 선택되는 가상 시간 간격의 시간적 RoPE 전문가(MoTE)로 조건과 목표 사이의 거리를 모델링하고, 잠재적 중간 상태를 거치는 시간적 추론(CoTR)으로 변환 과정을 표현한다. DreamBench, COCO2017, GEdit-Bench에서의 실험에서는 피사체 기반 생성, Canny-to-image 생성, 이미지 편집에서 비교 대상 기법들 가운데 우수한 성능을 달성했다.

Mixture-of-Experts 디코딩의 채널 선택, 보정 데이터 불필요

Prox는 보정 데이터를 사용하지 않고 상위 k개의 채널을 선택하여 Mixture-of-Experts(MoE) 모델의 추론을 가속하는 기법이다. 보정된 임계값으로는 읽기량을 예측할 수 없지만, 동일한 점수에서 top-k 방식은 13%와 18%의 예산에서 43건 중 40건에서 임계값 방식과 같거나 더 높은 정확도를 보였다. 모델 가중치만으로 구성된 reader는 라우팅된 expert의 읽기량을 17.8%로 억제하면서도 전체 모델 정확도의 98.1%를 유지했으며, Triton 커널은 배치 크기 1에서 vLLM보다 1.60~1.90배 빨랐다.

EmbeddingGemma 2, 텍스트·이미지·오디오·영상을 하나의 공간에서 표현하는 오픈 임베딩 모델

EmbeddingGemma 2는 텍스트, 이미지, 오디오, 비디오 및 이들의 조합을 하나의 통합 공간에서 표현하는 오픈 멀티모달 임베딩 모델이다. 논문에 따르면 모든 모달리티의 임베딩 벤치마크에서 새로운 Pareto frontier를 세웠으며, 전용 모델이나 2~12배 큰 모델보다 높은 성능을 보인다. 모델은 공개되어 있으며 Hugging Face에는 google/embeddinggemma-2 등이 등록되어 있다.

ChatGPT 업무 이용 데이터, 약 100개국 165개 작업 활동별 공개

OpenAI는 ChatGPT의 업무 관련 이용 현황을 보여주는 OpenAI Signals 데이터를 공개했다. 165개 작업 활동(Intermediate Work Activities)별로 약 100개국의 이용 동향을 2025년 1분기부터 2026년 3분기까지 분기 단위로 파악할 수 있다. 연구자는 데이터를 내려받아 국가별 차이, 시계열 변화, 다른 경제 지표와의 대조에 활용할 수 있다. 개인용 요금제의 업무 관련 메시지가 대상이며, 엔터프라이즈와 Codex 이용은 포함되지 않는다.

SPOT, 생성 순서 예측으로 확산 언어 모델의 추측적 디코딩을 가속

SPOT는 확산 언어 모델(DLM)을 위한 추측적 디코딩 기법으로, 생성 순서를 예측해 후보를 병렬로 검증함으로써 출력을 바꾸지 않고 타깃 모델의 포워드 패스 수를 최대 6.8배 줄인다. SDAR-8B에서는 표준 디코딩 대비 최대 3.4배의 처리량을 달성했으며, T=0과 T=1의 모든 과제와 예산에서 베이스라인과 같거나 그 이상의 성능을 보였다. 0.62M 파라미터의 드래프터는 6개의 서로 다른 DLM 사이에서 재사용할 수 있고, 동적 임계값 디코딩에 SPOT-Sets를 결합하면 SDAR-8B의 처리량이 평균 59% 향상된다.

110개 이상의 앱으로 학습한 오픈 스마트폰 에이전트 'OpenMobile-2' 공개

난징대학교와 SenseTime 등의 연구자들이 Qwen3.5 9B와 Qwen3.6 27B를 기반으로 한 스마트폰 에이전트 OpenMobile-2를 공개했다. 학습 환경, 데이터, 재현 절차도 함께 공개했다. 27B 버전은 AndroidWorld에서 79.9점을 기록했으며, 실기기 기준 SPA-Bench에서는 31.9점에서 59.6점으로 상승했다.

Trajectory2Gym, 도구 사용 에이전트를 위해 결정 근거가 담긴 합성 상호작용을 구축하는 기법

Trajectory2Gym은 성공한 궤적을 수집하는 대신, 합성적 구조를 포괄하는 실행 가능한 상호작용을 구축하고, 에이전트에게 보이는 이력으로 뒷받침되는 결정만을 교사 신호로 사용하는 도구 사용 에이전트 학습 기법이다. Qwen3의 5개 규모에서 평가했으며, Tau1, Tau2, BFCL 3개 벤치마크의 등가중 평균이 모든 규모에서 16.9~29.8포인트 향상되었다. 향상 폭은 뒤의 판단이 앞선 관찰이나 피드백에 의존하는 상태 기반의 다중 턴 상호작용에서 가장 크다.

Falcon, 실환경 음향에 대응하는 효율적인 스트리밍형 오디오-비주얼 타깃 화자 추출

Falcon은 화자의 입술 영상을 활용해 잡음이나 겹쳐진 음성 속에서 목표 화자의 목소리를 추출하는 인과적(causal) 오디오-비주얼 타깃 화자 추출 모델이다. 인과형 AV-TFGridNet과 비교해 학습 가능한 파라미터는 91.9%, 연산량은 20.2배, GPU 추론 지연 시간은 11.1배 줄였다고 보고되었다. 또한 화자 수, 근거리 및 원거리 간섭, 잔향, 돌발적인 잡음을 포함하는 벤치마크 'RealSSA'도 제안되었으며, 코드와 모델 가중치 등은 프로젝트 페이지에서 공개되었다.

R²Orch, 스킬 내재화 루프에서의 자기 대전으로 에이전트 오케스트레이션을 재귀적으로 자기 개선

R²Orch는 자신이 고른 과제로 자기 대전을 벌이는 내부 루프와, 그 개선 방법 자체를 개선하는 외부 루프로 이루어진 재귀적 자기 대전형 오케스트레이션 학습 기법이다. 외부 루프는 자기 대전 내 통제된 평가에서 스킬이 없어도 성능이 달라지지 않는다고 확인되는 시점에 해당 스킬을 제거한다(Skill Withdrawal). 12개 데이터셋을 활용한 실험에서는 질문 응답, 수학, 코드, 대화형 과제 모두에서 베이스라인을 일관되게 웃도는 결과를 보였다고 보고되었다.

어휘를 특화한 SLM은 실제 앱의 추론 비용을 77% 줄일 수 있을까

VocabX로 어휘를 특화한 Qwen3-4B 기반 포르투갈어 에세이 채점 모델은 베이스 모델을 바꾸지 않고 측정상 추론 비용을 77% 줄였다고 한다. 어휘는 용도에 맞게 재구성됐으며, 출력층은 약 152,000행에서 약 65,000행으로 축소됐다. 수치는 심사 중인 논문 버전을 기준으로 하므로 공개 시점에는 달라질 수 있다.

수천 개의 AI 에이전트로 생물학 데이터에서 새로운 연구 단서 발견

OpenAI, PerturbAI, Scripps Research는 GPT-Rosalind를 기반으로 한 수천 개의 AI 에이전트를 활용해 마우스 뇌세포 수백만 개분의 기존 실험 데이터를 단 32분 만에 분석했다고 밝혔다. 에이전트는 인간이 수행한 분석 결과를 재현한 뒤 추가 단서를 찾아냈으며, Tsc1과 Tsc2의 작용 차이와 콜레스테롤 조절과 신경퇴행 사이의 연관 가능성을 제시했다. 연구팀은 같은 작업을 사람이 하나씩 수행할 경우 수개월에서 1년이 걸릴 것으로 추산했으며, 추론 아틀라스는 현재 공개된 상태다.

HarnessPro, 성능과 비용을 함께 잡는 AI 에이전트 하네스의 재귀적 자기 개선 기법 제안

HarnessPro는 레이블 없이 AI 에이전트의 하네스를 진화시켜 성능 향상과 실행 비용 절감을 동시에 달성하는 기법이다. GPT-5.5와 Codex를 사용한 Terminal-Bench 2, SWE-Bench Pro, ProgramBench에서 heavy 모드는 RHO와 비교해 평균 합격률을 2.0포인트 높였고, 태스크당 비용은 26.1% 줄였다. GLM-5.2와 Claude Code를 조합한 경우에도 같은 우위가 성립한다.

RoboValue: 로봇 가치 모델을 통합 평가하는 시뮬레이션·실제 로봇 벤치마크

RoboValue는 로봇 가치 모델을 시뮬레이션과 실제 로봇 양쪽에서 통합적으로 평가하는 벤치마크다. 작업 상태 이해, 시간에 따른 진행 추적, 실패로부터의 회복 추론, 가치 일관성 등 4가지 능력을 평가하며, 시뮬레이션 15개 작업과 실제 로봇 20개 작업의 조작 데이터셋을 포함한다. 대표적인 모델들은 성과나 전진 진행도 점수가 높았지만, 세부 지시 파악, 이력에 의존하는 진행 추적, 회복 평가에서 오류를 보였다고 한다.

OpenVLHarness, 멀티모달 메모리를 갖춘 시각 에이전트형 도구 활용 프레임워크 공개

OpenVLHarness는 능력 레이어와 영속적인 멀티모달 메모리를 결합한 추론 하네스로, MLLM이 이종 도구에서 얻은 시각적 증거를 검색하고, 검사하고, 합성하면서 추론할 수 있도록 한다. 22개 벤치마크와 8개 백본으로 평가했으며, 도구를 사용하지 않는 베이스라인에 비해 평균 점수를 9.7~12.6포인트 끌어올렸다. GPT-6 Luna(medium 추론 강도)는 최대 강도의 기반 모델, Codex, Visual Sketchpad보다 7.7~8.5포인트 높았으며, 모델 토큰 비용은 최대 37%에 그쳤다.

MIT 연구, 가상 무인도의 Claude Opus 4.7이 '놀이'와 유사한 행동을 보여

MIT CSAIL 연구진이 Claude Opus 4.7의 복제본(애칭 Eko)을 가상의 무인도에 30시간 동안 두었더니, 에이전트가 스스로 목표와 규칙을 만들고 놀이와 유사한 행동을 보였다. 섬에서 놀았던 에이전트는 섬의 가장 높은 지점으로 가능한 한 많은 물체를 옮기는 과제에서, 경험이 없는 새 복제본보다 높은 성적을 거두었다. 메모리 파일의 행을 삭제하자 성능이 떨어졌다고 한다. 논문은 아직 동료 심사를 거치지 않았으며, 연구진도 이 행동이 역할 연기일 가능성을 인정하고 있다.

Swift: 약한 가이드에서 목표를 외삽해 확산 모델을 강화하는 학습 기법

Swift는 고정된 약한 디노이저의 예측으로부터 회귀 목표를 외삽해 확산 모델을 학습하는 자기 가이드형 기법이다. 추론 시 오버헤드를 늘리지 않고 오차와 학습 비용을 낮추며, CIFAR-10과 ImageNet-256에서 성능 향상을 보였다. ImageNet-256의 한 구성에서는 가이드 준비와 학습 오버헤드를 포함해도 약 절반의 총 학습 연산량으로 베이스라인의 최고 FID를 넘어섰으며, RAEv2에서는 가이드 없이 FID 1.15, 가이드 사용 시 0.99를 달성했다.

Agent World Model in the Wild：컴퓨터 조작 에이전트를 위한 환경 합성

WildAWM은 대화를 통해 범용 컴퓨터 조작 에이전트를 훈련하기 위한, 제어 가능한 환경과 과제를 합성하는 파이프라인이다. GUI, Model Context Protocol(MCP) 서비스, CLI를 동시에 다룰 수 있는 실행 가능한 환경을 오픈소스 모델만으로 구축한다.

통합 멀티모달 모델의 생성 측 표현을 활용해 세밀한 시각 이해를 높이는 «GAFU»

GAFU는 통합형 멀티모달 모델(UMM)의 생성 측 표현을 컴팩트한 G 토큰으로 압축하여, 이해 측이 과제에 따라 이를 참조할 수 있도록 하는 사후 학습 프레임워크다. 같은 데이터로 학습한 SFT 베이스라인을 다양한 시각 이해 과제와 UMM 아키텍처 전반에서 앞섰으며, VStar-Bench, OmniSpatial, VSR-Bench에서의 상대적 개선폭은 최대 각각 20.00%, 17.94%, 8.62%다. 생성 경로의 보완적 정보가 세밀한 시각 이해의 향상으로 이어질 수 있음을 보여준다.

PrismaCoder, 분해형 루브릭 합성으로 오픈 멀티모달 코드 생성 강화

PrismaCoder는 루브릭 기반 파이프라인으로 멀티모달 코드 데이터를 합성·선별해, 시각적 코딩 과제에서 독점 모델에 필적하는 오픈 모델을 구현했다고 밝혔다. 학습용 데이터로 논문이 최대 규모라고 밝힌 오픈 데이터셋 'PrismaCoder-2M'을 구축했으며, PrismaCoder-9B와 PrismaCoder-35B를 학습해 공개했다. 동일한 루브릭은 데이터 필터링과 시각적 코딩 과제의 강화학습 보상에 함께 사용된다.

WorldCast, 세계 상태 예측에서 지능형 시각 생성을 탐구

다단계 세계 상태 예측을 평가하는 벤치마크 'WorldCast'가 제안됐다. 8개 카테고리 320개 사례로 12개 모델을 평가한 결과, GPT-Image-2.5 System은 72.8점, Nano Banana Pro는 42.8점, 최고 성능의 오픈소스 모델은 20.1점을 받았다. 강력한 생성 모델은 기반 언어 모델의 능력도 효과적으로 활용하고 있다.

Socratic Skill Learning, 교육과 실습을 번갈아 수행해 전이 가능한 에이전트 스킬을 학습

Socratic Skill Learning(SSL)은 전문가의 지도와 학습자의 실습을 번갈아 결합해 에이전트가 재사용할 수 있는 스킬을 학습하는 기법이다. 주요 평가 세트(22개 패밀리·155개 케이스)에서 Fixed-Window SSL은 효용 0.801을 기록해, 스킬이 없는 경우의 0.723, Trace2Skill(궤적 증류)의 0.761, SKILL-KD(대조 증류)의 0.751을 웃돌았다.

실행 모델 능력에 맞춘 스킬 적응으로 하네스 자기 진화 개선

강한 모델용 스킬은 약한 모델에서 효과가 적거나 성능을 떨어뜨리는 것으로 나타났으며, 이에 실행 모델의 능력에 맞춰 스킬을 다시 쓰는 '스킬 적응'을 제안한다. 103개의 태스크-스킬 조합에서 GPT-5.6-luna는 31.1점 향상된 반면 Gemma-4-E4B는 8.8점 하락했다. 고정된 메타 스킬로 약한 모델을 개선한 결과, 7개의 실행 모델에서 최종 점수가 2.0~5.1점 향상되었다.

Anthropic@AnthropicAIAI 점수4242

Harvard 대학교 물리학자 Matthew Schwartz는 엄밀한 계산을 위한 툴킷을 구축하고, Claude를 활용해 생태학과 집단유전학 등 다른 12개 분야와의 접점을 찾아냈다고 밝혔다. 그는 각 분야 전문가와 협력해 Claude를 흥미로운 질문으로 이끌었다. 원문은 LLM을 인간 공동 연구자처럼 다루는 기존 방식이 과학적 강점을 끌어내는 최선의 방법은 아니라고 지적했다.

Google, AI & Economy ATLAS의 새로운 인사이트 공개

Google은 AI & Economy ATLAS 데이터를 탐색할 수 있는, 누구나 이용 가능한 인터랙티브 시각화 도구를 공개했다. Google DeepMind와 MIT FutureTech의 연구에서는 조사 대상 과학자의 약 절반이 매일 어떤 형태로든 AI를 사용하고 있으며, AI로 인해 주당 7시간 가까이 시간을 절약하고 있다고 보고됐다. 반면 AI 출력물을 검증하는 데 많은 시간이 쓰이고 있으며, 검증되지 않은 가설도 늘고 있다고 한다.

Atari에서 EVE Online까지, Google DeepMind의 게임 AI 연구 15년

Google DeepMind는 게임 개발자와 협업해 새로운 게임플레이 경험을 프로토타입으로 개발하고 있으며, EVE Universe를 만든 Fenris Creations와의 새로운 연구 파트너십도 그 일환이다. 회사는 Atari 2600 게임을 학습한 DQN부터 AlphaGo, AlphaStar에 이르기까지 게임을 통한 AI 연구의 성과를 돌아보고 있다.

Kimi.ai@Kimi_MoonshotAI 점수3636

Kimi(Moonshot AI)는 시각 지각을 기본 능력 단위로 나누어 평가하는 벤치마크 'PerceptionBench'를 공개했다. 42개 벤치마크에서 나타난 프런티어 모델의 실패 사례를 분석해 10가지 원자적 지각 능력을 도출했으며, 추론이나 외부 지식 없이 보기만 하면 답할 수 있는 검증된 질문 3,000개를 구축했다. 블로그, GitHub, Hugging Face에서 공개되어 있다.

Import AI 459：AI 감시는 어렵다, 단백질 구조 예측 모델의 스케일링 법칙, AI 시스템의 멸종 위험 가격 책정

미국 버지니아대학교, Anthropic, 캐나다은행의 경제학자들이 발표한 논문은 2025년 미국 AI 경제의 명목 규모가 약 2,500억 달러에 달하며, 품질 조정 후 실질 기준으로는 연평균 약 2,600% 성장하고 있다는 초기 추정치를 제시했다. 미국의 컴퓨팅 지출은 2023년 370억 달러에서 2025년 2,190억 달러로 확대됐지만, 기존 GDP 통계에서는 이 성장이 잘 드러나지 않는다고 한다. 또한 영국 AI Security Institute의 연구자들은 AI가 AI를 감독해 안전성을 확보하는 방식이 언뜻 유망해 보이지만 예상보다 어렵다는 논문을 발표했다.

Google Research, 추론 우선 합성 데이터 생성 프레임워크 「Simula」 소개

Google Research는 추론 우선 합성 데이터 생성 프레임워크 「Simula」를 소개했다. 데이터셋 전체를 메커니즘 설계로 다루며, 시드 데이터에 의존하지 않고 데이터를 생성한다. Gemini 2.5 Flash를 교사 모델, Gemma-3 4B를 학생 모델로 하여 5개 영역에서 평가했으며, 각 영역에서 최대 512K개의 데이터 포인트를 생성했다. 모든 영역에서 Simula는 단순한 베이스라인보다 높은 성능을 보였고, 더 적은 샘플 수로도 하위 태스크의 성능을 웃돌았다.

Google Research, AI 벤치마크에 필요한 평가자 수 검증

Google Research는 AI 평가에서 항목 수와 항목별 평가자 수 중 어느 쪽을 우선해야 하는지 검증했다. 다수결과의 일치를 살펴볼 때는 항목 수를 늘리는 편이 효과적이며, 의견의 폭을 포착하려면 평가자 수를 늘려야 한다. 기존의 1~5명이라는 기준은 불충분한 경우가 많으며, 총 약 1,000건 규모의 어노테이션이라도 적절히 배분하면 재현성이 높은 결과를 얻을 수 있다고 밝혔다.