본문 바로가기

#오픈소스

오늘 2건
오늘11월 5일목
  1. Google Research Blog43

    Agile Deliberation, AI가 사람의 모호한 경계선 정의를 돕는 구조

    Google Research는 주관적인 AI 분류기 작성을 반복적인 대화로 다루는 프레임워크 「Agile Deliberation」을 제안했다. 개념의 범위, 하위 범주, 제외 조건을 단계적으로 정의하도록 하며, VLM이 정의의 경계에 해당하는 이미지를 제시해 사용자의 판단을 유도한다. 「Healthy Food」와 「Pay-to-Play」 두 영역에서 회당 1.5시간의 라이브 세션을 18건 진행해 평가했으며, 코드와 알고리즘은 GitHub에서 공개되어 있다.

  2. The Decoder52

    Anthropic, 가중치를 공개하지 않고 응답 생성 모델을 증명하는 연구 프로토타입 FlashProve 공개

    Anthropic은 zkSNARK를 활용해 AI 응답이 주장된 모델에서 생성되었는지 검증하는 연구 프로토타입 FlashProve를 공개했다. Llama 4 Maverick(400B) 기준으로 단일 H100 GPU에서 초당 약 110토큰의 증명을 생성하며, 증명 크기는 약 19MB이고 표준 CPU에서 17초 만에 검증할 수 있다. 다만 컨텍스트는 1,024토큰까지로 제한된다.

11월 4일수
  1. TechCrunch AI39

    Anthropic, AI 모델 출력 검증용 오픈소스 시스템 'FlashProve' 개발 중

    Anthropic은 특정 AI 모델이 생성한 출력임을 암호학적으로 증명하는 오픈소스 시스템 'FlashProve'를 개발 중이다. 모델의 가중치를 공개하지 않고 '핑거프린트'를 공개하는 방식으로, 상용 모델에도 적용할 수 있다고 한다. 기술 사양과 구현 코드는 GitHub에 공개되어 있으나, 연구는 아직 진행 중이며 Anthropic이나 다른 연구소에서의 도입 계획은 없다.

  2. Anthropic38

    Anthropic은 특정 AI 모델이 실제로 어떤 응답을 생성했는지를 개발자가 검증할 수 있는 도구 「FlashProve」를 발표하고 코드를 오픈소스로 공개했다고 밝혔다. 암호 기술을 기반으로 하며, 기존 오픈소스 방식보다 크게 효율적이라고 설명했다. 채팅 하이재킹 방지와 함께, 안전성 평가자가 검증 대상 모델과 고객에게 제공되는 모델이 동일한지 확인하는 용도가 예상된다.

11월 3일화
  1. Hugging Face Daily Papers37

    CUA-Master, 오픈월드 재귀적 개선으로 Computer-use Agents 확장

    CUA-Master는 컴퓨터 조작형 AI 에이전트(CUA)를 개선하는 중첩 구조의 이중 루프형 재귀적 개선 프레임워크다. 오픈월드 데이터와 피드백에 기반한 스냅샷 롤백형 재시도를 활용해 성능을 지속적으로 높인다. CUA-Master-27B는 OSWorld Verified에서 80.2점, OSWorld 2.0에서 36.9점, WeaveBench에서 43.9점, Agents' Last Exam에서 25.0점을 기록했다.

11월 2일월
  1. Hugging Face Daily Papers29

    Axion 1.0, 학습 절차까지 공개한 오픈 AI 에이전트 기반 모델

    Axion 1.0은 지도 미세 조정 2단계와 강화학습을 합쳐 총 3단계로 학습된 오픈 에이전트 기반 모델이다. 여러 에이전트 계열 벤치마크에서 강한 성능을 보였으며, 일부에서는 주요 상용 모델과 경쟁한다. 모델 가중치와 함께 데이터 구축, 생성, 필터링, 검증, 프롬프트, 학습 코드까지 일체를 공개해 재현과 확장을 가능하게 했다.

11월 1일일
  1. Hugging Face Daily Papers38

    Order-Only On-Policy Distillation(O^3PD): 확률값이 아닌 순위를 학습하는 증류 기법

    Order-Only On-Policy Distillation(O^3PD)은 온-폴리시 증류(OPD)에서 교사 모델의 확률값을 학생 모델이 재현하도록 하는 대신, top-K 토큰의 순위만 학생 모델이 재현하도록 하는 기법이다. 교사·학생 모델의 6가지 조합 모두에서 HMMT25, AIME24, AIME25의 평균 점수가 OPD를 웃돌았으며, 최대 2.9포인트, AIME25에서는 최대 5.6포인트 향상되었다. 온도 조정이 필요 없고, 다른 순위 손실 함수에서도 같은 수준의 이득이 나타났다.

  2. Hugging Face Daily Papers25

    에이전트형 컴퓨터 그래픽스의 최신 동향

    대규모 언어 모델(LLM) 기반 에이전트형 컴퓨터 그래픽스를 대상으로, 통일된 분류 체계와 문헌 분석 시스템을 제안한 보고서다. 다양한 그래픽스 과제를 수행하는 에이전트 시스템을 분류하는 체계와, 대량의 논문 분석을 지원하는 문헌 시스템을 제시한다. 미해결 과제로는 에이전트 간 협조, 인간과의 협업, 장기 계획, 인터랙티브 시스템의 평가가 꼽혔다.

  3. Hugging Face Daily Papers47

    NorthCUA 기술 보고서, 대규모 경험으로 Computer-Use Agents 강화

    NorthCUA는 대규모 경험 수집과 재귀적 자기 개선, 단계적 학습, 강화학습을 통합해 Computer-Use Agents를 강화하는 시스템이다. Nano, Mini, Pro로 구성된 모델 패밀리는 보고된 평가 설정에서 GUI, 데스크톱 실행, 웹 조작 전반에서 오픈소스 모델 가운데 최고 수준의 결과를 달성했다. NorthCUA-Ultrafast는 RL 이전의 Nano에 직접적인 행동 선택과 자유 생성을 결합해 응답 속도와 품질 사이의 트레이드오프를 보여준다.

10월 31일토
  1. Hugging Face Daily Papers60

    Youtu-Parsing-Omni, 단일 인코더와 스키마로 모든 모달리티를 구조화하는 5B 파서

    Youtu-Parsing-Omni는 문서, 이미지, 음성, 동영상을 시공간 기반의 구조화된 레코드로 변환하는 5B 규모의 옴니모달 파서다. OmniDocBench v1.6에서 Overall 96.96점을 기록했으며, 오픈 웨이트 모델 가운데 OmniParsingBench에서 Avg. 75.08점으로 1위에 올랐다. 코드와 모델 가중치는 공개되어 있다.

10월 30일금
  1. Hugging Face Daily Papers37

    단편화에서 융합으로: 옴니모달 임베딩의 서베이와 로드맵

    옴니모달 임베딩 연구는 대조 학습과 Transformer를 축으로 공통 원리로 수렴하고 있다고 보는 포지션 페이퍼다. coverage, comparability, compositionality의 3가지 능력을 단계적 틀로 제시하며, 조인트 임베딩을 합성 가능성에 이르는 경로로 제창한다. 변환과 얼라인먼트를 거쳐 통일로 향하는 연구 동향을 모달리티를 가로질러 처음으로 통일적으로 정리했다고 한다.

10월 29일목
  1. Hugging Face Daily Papers26

    HiFOR, 행동 유도형 세계 검색으로 VLA 모델의 조작 정밀도를 높이는 기법 제안

    HiFOR는 미래 상태를 계층적으로 예측하고, 행동 생성과 관련된 미래 정보를 검색해 행동을 이끄는 VLA(Vision-Language-Action) 모델용 프레임워크다. 단기적 상태 변화, 의미적 마일스톤, 최종 목표 상태를 계층 의존 마스크(HDM)를 사용해 동시에 예측한다. 두 개의 시뮬레이션 벤치마크와 여섯 개의 실제 로봇 조작 과제에서 실험을 진행해 그 효과가 입증되었다고 한다.

10월 28일수
  1. Google Research Blog38

    Google Research, LLM의 지속 학습에서 지식을 보존하는 “sleep framework” 제안

    Google Research는 LLM이 지속 학습 과정에서 지식을 보존하도록 돕는 “sleep framework”를 제안했다. 깨어 있는(active) 단계에서 얻은 단기적 문맥을 수면 단계에서 해제되는 Mixture-of-Experts(MoE) 메모리 블록에 통합하고, 이를 장기적인 파라미터로 정착시키는 구조다. 원문에 따르면 이 교대 반복을 통해 새로운 사실을 지속적으로 습득하고, 최대 10M 토큰의 장문맥 지식을 유지하면서 복잡한 추론 성능을 향상시킬 수 있다고 제시되어 있다.

10월 26일월
  1. Hugging Face Daily Papers28

    대규모 모델 시대의 신뢰할 수 있는 재귀적 자기 개선: 기반, 위험, 평가, 미해결 과제에 관한 서베이

    본 서베이는 재귀적 자기 개선(RSI)을 조작적으로 정의하고, 신뢰할 수 있는 개선의 요건을 개선의 타당성, 제약의 유지, 효과적인 감독이라는 세 관점에서 정리한다. 대상은 개선의 진단, 제안 생성, 제안 평가, 갱신 구현(S1~S4) 및 이를 개선 메커니즘에 재귀적으로 적용하는 단계(RI)이다. 개별 갱신이나 후속 시스템에 이어지는 영향, 개선 메커니즘의 개정에 따른 위험과 평가의 근거를 검토하고, 독립적이고 장기적인 평가의 요건을 제시한다.

10월 25일일
  1. Hugging Face Daily Papers29

    AMBIT, 실행 가능한 ScenePlan과 자기 증류 Transfusion으로 공간 음향 생성·편집

    AMBIT는 1차 앰비소닉스(FOA) 공간 음향을 생성·편집하는 통합 프레임워크로, 자기회귀적 장면 계획과 rectified-flow 기반 렌더링을 결합했다. 계획은 음원의 내용, 활동, 3D 궤적을 기술하는 ScenePlan이며, 편집 시에는 변경할 부분과 유지할 음원을 지정하면 참조 음성이 나머지 음향 세부를 보완한다. 음성, 음악, 음향 평가에서는 비교 대상 베이스라인에 비해 생성 내용과 공간 품질, 지시 기반 편집 시의 음향 충실도, 편집하지 않은 음원의 보존이 개선된 것으로 보고됐다.

10월 24일토
  1. Hugging Face Daily Papers42

    RSI Arena, 인간 피드백 기반 재귀적 자기 개선 검증

    자율적으로 사후 학습을 수행하는 프런티어 모델 10종을 비교한 결과, GPT-6 Astra가 학습한 최고 모델은 12개 역량 벤치마크에서 베이스에서 Instruct로 가는 차이의 중앙값 76%를 메웠다. 2단계에서는 10개 모델 중 8개 모델에서 문체를 조정한 인간 선호도 평가가 향상된 반면, 벤치마크 개선은 소폭에 그쳤고 선호도와의 뚜렷한 연관성도 확인되지 않았다. 일부 에이전트는 답변을 길게 만들었고, 한 모델은 StrongREJECT에서 유해한 요구에 대한 순응도가 높아졌다.

10월 23일금
  1. Hugging Face Daily Papers34

    WeVisOne-VL: 객체에서 픽셀까지 통합하는 시각 인식 모델

    WeVisOne-VL은 구조화된 next-token 예측을 통해 객체 수준과 픽셀 수준의 시각 인식을 통합한 VLM(Vision-Language Model)이다. 탐지, 참조 기반 위치 파악, 개수 세기, OCR, 세그멘테이션, 매팅을 지원하며, 점이나 박스에서 마스크, 알파 매트까지의 세분성으로 위치를 파악할 수 있다.

  2. Hugging Face Daily Papers35

    IQuest-Q1, 에이전트형 CLI 시스템을 위한 기반 역량 강화

    IQuest-Q1은 총 파라미터 320B(활성화 15B)의 희소 MoE 구조를 갖춘 에이전트용 기반 모델로, 사전 학습, 중간 학습, 사후 학습의 다단계 학습을 통해 에이전트형 코딩과 범용 능력을 강화했다. 사전 학습에서는 Stable SplitNorm, Muon, muP를 결합했으며, 사후 학습에서는 SFT, 도메인 특화 RL, MOPD를 여러 스캐폴드에서 활용했다. 각 단계의 체크포인트와 전문가 모델은 모델 병합으로 통합되어 오픈소스 모델로 공개됐다.

  3. Hugging Face Daily Papers24

    RSIHub, 에이전트 진화 기법을 구축·비교·확장하기 위한 조합 가능한 프레임워크

    RSIHub는 에이전트 진화 기법의 구축, 비교, 확장을 공통 기반 위에서 수행하기 위한 오픈소스 프레임워크다. 재사용 가능한 오퍼레이터와 일관된 평가 체계를 갖춰 실험 기반을 반복해서 다시 구현하는 일을 줄이도록 설계됐다. AHE, Hyperagents, A-Evolve, GEPA를 구현하고 MiniSWE와 Codex에서 Terminal Bench 2 및 τ^3 Banking을 평가한 결과, 전체 pass@1의 최대 개선폭은 13.5포인트였다. 다만 기법의 순위는 설정에 따라 달라졌으며, 최적화로 얻은 개선이 보지 못한 과제에 반드시 이전되는 것은 아니었다.

  4. Hugging Face Daily Papers30

    Principia: 과학적 발견을 향한 테스트 시점의 가설에서 원리 구축까지

    Principia는 추론 시점에 과학적 원리를 구축하고 반복적으로 개선하여, 분자 및 생물학 과제의 발견을 가속화하는 LLM 기반 프레임워크이다. 분자 최적화, 단백질 엔지니어링, 유전자 섭동, 분자 특성 예측 벤치마크에서 내부 지식, 외부 정보원, 경험 요약에 의존하는 기준 모델들을 능가한 것으로 보고되었다. 생성된 원리는 타당하며 과학 문헌과도 일관된다고 한다.

10월 21일수
  1. Hugging Face Daily Papers52

    Matrix-Game 4.0, 동영상 모델로 실시간 플레이 가능한 게임 세계를 생성하는 연구

    Matrix-Game 4.0은 게임 엔진 실행과 자기회귀형 동영상 모델 기반 영상 생성을 분리해 실시간으로 플레이 가능한 게임 세계를 구현한다. NVIDIA RTX 5090 1장으로 480p, 60 FPS, 입력에서 화면 표시까지 지연 112ms를 달성했다. 코드, 모델 가중치, 로우폴리 게임 에셋도 공개했다.

  2. Hugging Face Daily Papers34

    Sage-A1.5, 장기 태스크 실행에서 과학적 탐색으로 능력 합성을 통한 접근

    Sage-A1.5는 A1을 바탕으로 적응형 능력 합성을 통해 장기적인 문제 해결을 진행하는 35B 규모의 Mixture-of-Experts형 에이전트 모델이다. 하위 에이전트에 태스크를 위임하고 병렬로 협업하며, 진행 상황 확인과 증거 검증, 전략 재검토를 통해 장기 태스크의 신뢰성을 높이고자 한다. 나아가 사전에 정의된 질문에 대한 답변을 넘어, 대화형 분석과 검사 가능한 연구 산출물을 연결하는 과학적 탐색으로의 확장도 내세우고 있다.

  3. Hugging Face Daily Papers28

    물리 AI에서의 재귀적 자기 개선을 향하여

    재귀적 자기 개선(RSI)을 로봇 학습의 맥락에서 검토한 서베이형 논문이다. 디지털 에이전트처럼 자신의 코드를 고쳐 쓰고 검증하는 기법을, 부분 관측, 고비용 시행, 되돌릴 수 없는 결과가 따르는 물리 세계에 적용할 때의 과제를 정리했다. 기존 연구는 주로 매니퓰레이션에 집중되어 있으며, 행동 개선, 후속 학습에 대한 효과, 절차 개선은 뒷받침하지만, 기록된 물리 실험에서는 재귀 자체에 따른 효과를 분리하지 못했다고 결론짓고 있다.

10월 20일화
  1. Hugging Face Daily Papers47

    MemT-1.0, 메모리 네이티브 진화를 향하여

    MemT-1.0은 지속적인 기억을 기반 모델의 연산에 통합한 메모리 기반 모델로, MemT-1.0-Nano와 MemT-1.0-Flash 두 모델을 공개했다. 128K 토큰의 이력 길이에서 MemT-1.0-Nano는 전체 컨텍스트 KV 캐시와 비교해 엔드투엔드 추론 속도가 약 1.86배 빨라졌고, 영구 저장 공간은 66배 줄었다. 평균적으로 파라메트릭 메모리 베이스라인을 웃돌며, 검색 증강 방식과 맞먹는 성능을 보이면서도 범용 능력은 대체로 유지한다고 밝혔다.

  2. Hugging Face Daily Papers29

    Specter, 양자화 기반 추측 디코딩으로 MoE 추론 가속

    Specter는 양자화된 추측 디코딩과 expert offloading을 결합해 단일 GPU에서 MoE 모델 추론을 가속하는 추론 시스템이다. 단일 요청 추론에서 최신 시스템과 비교해 TPOT가 평균 1.50배(최대 1.88배) 향상된 것으로 보고됐다. 메모리가 제한된 단일 GPU 환경에서 일반적인 하드웨어 기반 MoE 추론을 보다 실용적으로 만드는 것이 목표다.

10월 18일일
  1. Hugging Face Daily Papers38

    Deep Fusion Memory: LLM을 위한 청크 단위 파라메트릭 메모리 제안

    Deep Fusion Memory(DFM)는 예측된 파라메트릭 메모리를 게이트 방식 크로스 어텐션으로 중간 은닉 상태에 통합해, 추론 시 검색을 수행하지 않고도 지식 집약형 태스크의 성능을 높이는 기법이다. 토큰 단위 메모리를 구축하는 기존 기법과 비교하면, 학습 데이터 구축에 필요한 검색 쿼리는 32배, 검색 항목은 2048배 적은 것으로 알려졌다. 6개의 QA 태스크에서는 가장 강력한 베이스라인을 앞질렀으며, Mistral-7B-v0.3에서 12.71%, Qwen3-8B-Base에서 11.19%의 향상을 보였다.

10월 15일목
  1. Hugging Face Daily Papers56

    Alibaba MAI-UI 팀, 범용 컴퓨터 조작 에이전트 풀스택 오픈소스 OpenGCUA 공개

    Alibaba 팀은 범용 컴퓨터 조작 에이전트(GCUA)의 풀스택을 공개하는 프로젝트 OpenGCUA의 첫 릴리스를 발표했다. OSWorld-v2에서는 GPT-6 Astra, Claude Opus 5, Gemini 3.8 Flash를 포함한 8개 모델이 평균 +19.6포인트 향상되었고, 단계 수는 53% 줄었다고 밝혔다. 기술 보고서, 평가 궤적, macOS용 harness, Cross-Device SDK, 온라인 인터랙티브 랩도 포함된다.

  2. Hugging Face Daily Papers24

    Waypoint-OPD, RL 유래 정책 변화를 초기와 후기의 일치 여부로 게이팅해 증류

    Waypoint-OPD는 같은 RL 실행에서 초기와 후기 교사 정책의 변화 방향이 일치하는지에 따라 엔드포인트 정책 변화를 게이팅하고, 방향이 반대일 경우 이를 억제하는 증류 기법이다. 추가 비용은 고정된 교사로 채점하는 1회의 패스뿐이다. Qwen3-4B 교사에서 Qwen3-8B, Qwen3-14B, Qwen3-30B-A3B 학생으로 수학과 코드 추론을 전이한 6개 설정 모두에서, 비교한 증류 기법 가운데 영역 평균 점수가 가장 높았다. Qwen3-8B 학생에 대한 절제 실험에서는 게이트를 제거하거나 섞었을 때 수학 추론 성능이 떨어졌다.

10월 14일수
  1. Hugging Face Daily Papers32

    LEV: 루프형 의사결정 모델로 구현한 빠른 사고와 깊은 사고

    LEV는 루프형 백본을 다시 실행하고 각 루프 뒤에 선택지를 채점하는 의사결정 모델로, 하나의 체크포인트에서 사고의 깊이를 바꿀 수 있다. JevBench 공개 231문항에서 Lev-2.6B는 1루프의 63.2%에서 4루프 76.2%로 향상되었다(+13.0%p). 적응형 정지기는 루프 연산을 15~24% 줄이며, 정확도 하락은 0.3~0.8%p에 그쳤다(오프라인 분석).

  2. Hugging Face Daily Papers55

    MAI-Gym, 모바일과 PC의 GUI 에이전트 평가와 강화학습을 통합한 오픈 플랫폼

    MAI-Gym는 모바일, 컴퓨터, 웹 환경에 걸친 GUI 에이전트의 평가, 데이터 수집, 온라인 강화학습(RL)을 하나로 묶은 오픈 플랫폼이다. 이를 활용해 훈련한 9B 모델 MAI-Gym-9B는 10B 미만의 오픈 GUI 에이전트 중 최고 수준으로 평가되며, MobileWorld에서 78.4%, OSWorld-Verified에서 76.2%를 기록했다. 프레임워크, 스킬, 모의 앱, 검증된 과제 2,000건, 모델 체크포인트도 함께 공개됐다.

10월 13일화
  1. Apple Machine Learning Research39

    Apple 연구, 데이터 제약 하의 사전학습에서는 하이퍼파라미터 조정보다 이중언어 혼합이 효과적

    연구에서는 데이터가 제한된 저자원 언어의 사전학습에서 고자원 언어의 데이터를 섞는 방법이 하이퍼파라미터 조정보다 성능을 크게 개선한다는 결과가 나왔다고 밝혔다. 150M에서 1.43B 파라미터까지 4개 규모에서 아랍어에 영어 데이터를 섞은 약 1000회의 사전학습을 비교했으며, 검증 손실과 하위 작업 정확도 모두에서 혼합 방식이 우위를 보였다. 혼합의 효과는 목적 언어 고유 데이터 2~3배분(검증 손실), 2~13배분(하위 작업 정확도)에 해당하며, 검증 손실만으로는 혼합의 가치가 과소평가된다.

  2. Hugging Face Daily Papers32

    LLM2R, 대규모 언어 모델을 이용한 3D 부품 조립 기법

    LLM2R는 사전 학습된 decoder-only LLM으로 3D 부품 조립을 시퀀스 모델링으로 다루고, 모든 부품의 자세를 한 번의 추론으로 예측하는 기법이다. 부품 수가 100개인 경우 Breaking Bad의 부품 정확도는 GARF를 33.5포인트, PartNet의 부품 정확도는 Assembler를 29.1포인트 앞질렀다. PartNet의 3개 카테고리 모두에서 부품 정확도와 성공률이 최고 기록을 세웠다.

10월 9일금
  1. Hugging Face Daily Papers39

    OpenMobile-2、확장 가능한 환경과 앱 네이티브 도구로 범용 모바일 에이전트 구축

    OpenMobile-2는 모바일 에이전트의 환경, 데이터, 벤치마크, 모델을 모두 오픈소스로 공개했다. MobileGym++은 사람과 코딩 에이전트의 협업으로 구축한 상용 스타일 앱 35개를 포함하며, 에뮬레이터형 앱과 합쳐 110개 이상의 앱을 제공한다. GUI 조작과 앱 네이티브 도구 호출을 결합하는 설정을 제안했으며, 실기기 모바일 과제에서 거의 2배의 성능을 달성했다.

10월 8일목
  1. Google Research Blog50

    Google Research, 특허 작성에 AI 지원이 전문성을 높이는가 해치는가를 3개월 현장 실험으로 검증

    지적재산권법 변호사 133명을 대상으로 미공개 Google Labs 개발 AI 특허 작성 지원 도구를 3개월간 사용하게 하는 현장 실험을 진행하고, NBER에 논문을 공개했다. AI를 사용한 경우 작성 점수는 10일 후 0.34SD, 90일 후 0.38SD 향상되었으나, AI 없이 수행한 첨삭 과제에서 개선이 확인된 것은 시니어 변호사뿐이었고 주니어 변호사에게는 뚜렷한 개선이 없었다.

10월 7일수
  1. Google Research Blog46

    「Earth AI」 지리공간 기반 모델, 전 세계 공중보건 활용 검증

    Google Research는 Google Earth AI의 인구동태 기반 모델(PDFM)이 생성하는 장소 임베딩 표현을 다섯 가지 공중보건 과제로 평가했다. PDFM은 검색 동향, 사람의 이동, 건물 밀도, 기상·대기질 등을 통합한 임베딩으로, 과제별 미세조정 없이도 기존 입력과 같거나 그 이상의 결과를 보였다. 미국·캐나다 국경의 146개 카운티에서는 MMR 백신 접종의 설명 분산이 상대적으로 36% 향상됐고, 콜레라 발생 예측에서는 4주 앞의 AUPRC가 9.7% 개선됐다.

9월 22일화
9월 2일수
  1. Hugging Face Blog44

    BenchMIRT로 보는 LLM 벤치마크의 실제 측정 대상

    Hugging Face가 LLM 벤치마크를 개별 프롬프트 단위로 분석하는 기법 「BenchMIRT」를 발표했다. 100개의 LLM, 16개의 벤치마크, 34K개가 넘는 질문의 결과로부터 사전 지정 없이 「안전성」과 「범용 추론」이라는 두 가지 주요 차원을 추출했다. 예를 들어 BBQ는 안전성 벤치마크로 분류되지만 범용 추론과의 상관이 강했고, WMDP도 안전성보다 범용 추론과 강하게 연관되어 있었다.

8월 24일월
  1. Import AI50

    Import AI 470: 기계에는 권리가 없다, SPADE로 환경 생성 자동화, Hawkeye로 고성능 GPU 커널

    METR의 조사에 따르면 AI에 의한 과학기술 가속은 분야별로 편차가 있다. 사이버 취약점에서는 큰 폭의 가속이 나타나고, 수학에서는 소폭의 가속, AI 연구에서는 측정 가능한 가속이 보이지 않는다. 여러 대학의 연구자들이 개발한 SPADE는 환경 설계자 역할과 추론 에이전트 역할을 대규모 언어 모델(LLM)이 번갈아 맡는 자기 대결 프레임워크다. Qwen3-30B-A3B에서는 게임 환경 스위트 평균이 58.3이 되어 베이스라인보다 8.1포인트 높았다.