본문 바로가기

#추론

오늘 1건
오늘11월 5일목
11월 4일수
  1. Hugging Face Daily Papers28

    LoCo, 국소적 선호 학습 기반 추론 압축 기법

    LoCo는 추론 모델이 언제 사고를 멈춰야 하는지를 국소적 선호 학습으로 가르치는 추론 압축 기법이다. 수학 벤치마크 5종에서는 완료 길이를 41.7%~45.4%, 코드 벤치마크 3종에서는 23.4%~36.3% 줄였으며, 정확도는 유지되거나 향상되었다. 학습은 모델이 스스로 생성한 수학 추론 트레이스만으로 이루어지며, 코드 생성에도 전이된다. 코드와 모델은 공개될 예정이다.

  2. Hugging Face Daily Papers38

    Route Anything, 범용 AI 시스템의 모델·정책 라우팅 연구

    Route Anything은 범용 AI 시스템에서 전문 모델과 정책을 동적으로 선택·연계하는 라우팅을 검증하고, 입력별 오라클 라우팅이 최적의 고정 후보를 5.4포인트 웃돈다는 것을 보였다. 학습형 라우터는 16개 벤치마크에서 최적의 고정 후보를 0.3포인트 웃돌았으며, 참조 모델 대비 평균 8.82배의 효율 향상을 나타냈다.

  3. The Decoder58

    스탠퍼드 연구, LLM 관련 유명 지식의 44%가 이미 효력을 잃었다고 보고

    스탠퍼드대 연구자 Owen Queen과 James Zou는 LLM에 관해 널리 인용되는 주장 50건을 20개 모델로 검증한 결과, 44%가 이미 '효력을 잃었다'고 보고했다. 효력을 잃은 시점을 추정할 수 있었던 22건의 평균 수명은 15.7개월이었다. 추론 관련 약점이 가장 빨리 사라졌고, 아첨과 평가자로서의 편향은 남기 쉬운 것으로 나타났다.

11월 2일월
  1. Import AI42

    Realtime-Bench, 실시간 대화 과제로 LLM의 약점을 검증

    미국 텍사스대학교 오스틴캠퍼스 등의 연구진이 지연된 행동이 성패에 직접 영향을 미치는 실시간 대화 과제에서 LLM을 평가하는 벤치마크 「Realtime-Bench」를 구축했다. 게임과 웹을 합친 총 50개 과제로 구성된다. 최고 성공률은 GPT-6-Astra(high)의 wall clock 조건에서 36%에 그쳤으며, 시계를 멈출 수 있는 paused clock 조건에서는 추론을 강화한 모델이 70%에서 80%에 가까워진다.

  2. Hugging Face Daily Papers34

    IdeaTaste: LLM은 인간 연구자와 같은 연구 감각을 갖는가

    IdeaTaste 평가에서 LLM 에이전트는 연구의 대략적인 방향성에서는 인간 커뮤니티에 가까워지지만, 구체적인 접근법과 기대되는 성공 가능성에서는 크게 뒤처진다. 인용 문헌의 일치도는 인간의 약 26%, 아이디어의 일치도는 18%에 그쳤다. 6개 모델, 4개 연구 분야, 9만 건이 넘는 제안을 대상으로 했으며, 공개되어 지속적으로 갱신되는 오픈 리더보드로 제공되고 있다.

10월 30일금
  1. Hugging Face Daily Papers34

    통합형 멀티모달 모델을 위한 연속 공간 잠재 추론(LARC)

    LARC는 통합형 멀티모달 모델(UMM)의 이미지 생성에서 이산 토큰이 아니라 연속적인 은닉 상태 위에서 추론을 수행하는 잠재 추론 프레임워크이다. GenEval에서는 BAGEN을 7%p 웃도는 state-of-the-art를 달성했으며, 병렬과 순차 모두의 테스트 시점 스케일링에서도 토큰 기반 생성을 능가한다고 보고되었다. 학습은 커리큘럼 지도 파인튜닝(SFT)과 정답 데이터를 사용하지 않는 정보 이득 강화학습(RL)의 2단계로 구성된다.

10월 29일목
  1. Hugging Face Daily Papers26

    Apriel Voice 27B Preview, 음성·추론·도구 활용을 통합한 오픈 모델

    Apriel Voice 27B Preview는 음성 이해, 추론, 도구 호출을 공유 백본에서 처리하는 오픈 음성 언어 모델이다. 사고 모드에서 Big Bench Audio 98.90, Speech-BFCL 81.13, τ-Voice 과제 성공률 65.51%, 평균 지연 시간 1.91초를 기록했다. Gemma 4 26B-A4B의 사후 학습 체크포인트를 기반으로 하며, 별도의 대화 모델 없이 음성을 직접 처리해 응답과 도구 호출을 생성한다.

  2. Hugging Face Daily Papers41

    Zooming without Zooming v2(ZwZ2), 시각적 증거의 연결을 통한 일반화 가능한 멀티모달 지각 강화

    EvidenceConnect는 단일 이미지 안의 관련 영역을 확대해 보여주는 방식으로, 비교·집계·연쇄 추론이 필요한 질문을 합성하는 데이터 합성 프레임워크다. 이를 이용해 RLVR로 학습한 ZwZ2는 벤치마크에 맞춰 조정하지 않은 합성 데이터로도 세밀한 지각과 공간 지각이 향상되었으며, 엠바디드 AI의 공간 추론, 멀티모달 장문맥 이해, 멀티모달 에이전트 작업, 일반 시각 추론에서도 개선이 나타난 것으로 알려졌다. Hugging Face에는 inclusionAI/ZwZ2-27B, ZwZ2-9B, ZwZ2-4B의 모델 페이지가 올라와 있다.

10월 28일수
  1. Ars Technica AI45

    자연어로 단백질을 설계하는 도구 「Pinal」, 중국 연구팀이 발표

    중국 연구팀이 자연어 지시로 단백질을 설계하는 도구 「Pinal」을 발표했다. 테스트에서는 형광 단백질, 2종류의 효소, 대형 다단백질 복합체와 관련된 단백질 등 총 4종을 설계하도록 했다. 학습에는 AlphaFold로 예측한 구조와 짝을 이룬 3개의 데이터베이스 단백질 서열을 사용했으며, 그중 하나에는 8억 쌍의 키워드와 단백질 쌍이 포함되어 있다.

  2. TechCrunch AI80

    OpenAI와 Anthropic, 지수 시간 가설(ETH) 반증 주장 연구자가 분야에 미칠 영향을 말하다

    OpenAI는 수학·계산기 과학·물리학 3개 분야의 난제에 대한 해법을 공개했으며, 그중 하나는 지수시간 가설(ETH)을 반증하는 것이라고 주장했다. Anthropic도 몇 시간 뒤 자체적인 반증 결과를 공표했다. MIT 교수 Ryan Williams는 결과가 옳다면 지난 10년간 ETH에 의존한 논문들을 다시 검토해야 할 필요가 있다고 말했다.

    선정 이유: OpenAI와 Anthropic의 주장에 대해 계산 복잡도 연구자 Ryan Williams가 학계의 반응과 향후 연구 방향을 이야기하고 있어, 배경을 정리하기 좋다.

10월 27일화
  1. The Decoder88

    OpenAI, AI가 도출한 수학·컴퓨터 과학·물리학 증명을 노벨상 수상자 등 외부 전문가에게 검증 의뢰

    OpenAI는 자사 AI가 생성한 수학, 계산기 과학, 물리학 증명을 외부 전문가에게 검증받는 체계를 마련했다. 계산기 과학에서는 Exponential Time Hypothesis(ETH)의 반증을, 수학에서는 local smoothing conjecture를, 물리학에서는 4차원 양자장 이론의 존재를 증명했다고 주장하고 있다. 수학과 계산기 과학의 증명은 Lean으로도 번역됐으나, 검증은 분야마다 서로 다른 방식으로 진행된다.

    선정 이유: 수학, 컴퓨터 과학, 물리학 등 세 분야에서 외부 전문가가 검증을 진행하는 방식이 분야마다 어떻게 다른지 정리되어 있어, AI 성과를 어떻게 검증할지 생각하는 데 실마리가 된다.

  2. OpenAI News88

    OpenAI, 수학·컴퓨터 과학·물리학 분야의 AI 발견 3건 발표… 학계와 공동으로 이해 넓혀간다

    OpenAI는 조화해석, 계산 복잡도, 양자장론 분야에서 새로운 발견 3건을 발표했다. 모델은 국소 평활화 추측(local smoothing conjecture)을 모든 차원에서 증명했고, 지수 시간 가설(ETH)이 틀렸음을 보였으며, QCD 등에 대한 존재 증명도 생성했다. OpenAI는 이번 성과를 원자료(raw research data)로 규정하고, 외부 전문가가 주도하는 공동 연구 그룹을 통해 이해를 넓혀 갈 계획이라고 밝혔다.

    선정 이유: AI가 내놓은 수학·컴퓨터 과학·물리학 성과를 외부 전문가의 협력으로 검증하고 이해로 이어가는 공개 방식이 세 가지 형태로 구체적으로 제시되어 있다.

  3. Hugging Face Daily Papers34

    Mixture-of-Experts 디코딩의 채널 선택, 보정 데이터 불필요

    Prox는 보정 데이터를 사용하지 않고 상위 k개의 채널을 선택하여 Mixture-of-Experts(MoE) 모델의 추론을 가속하는 기법이다. 보정된 임계값으로는 읽기량을 예측할 수 없지만, 동일한 점수에서 top-k 방식은 13%와 18%의 예산에서 43건 중 40건에서 임계값 방식과 같거나 더 높은 정확도를 보였다. 모델 가중치만으로 구성된 reader는 라우팅된 expert의 읽기량을 17.8%로 억제하면서도 전체 모델 정확도의 98.1%를 유지했으며, Triton 커널은 배치 크기 1에서 vLLM보다 1.60~1.90배 빨랐다.

  4. Hugging Face Daily Papers28

    LOWN, 확산형 VLM 디코딩에서 필요한 때만 이미지를 처리하는 기법

    LOWN은 확산형 비전-언어 모델(DVLM)의 디코딩에서, 이미지 없이 한 예측이 직전의 이미지 포함 예측과 일치하면 이미지 처리를 생략하는 기법이다. LLaDA-V에서 10개 벤치마크 점수의 99.6%를 유지하면서도 디코딩 FLOPs는 평균 35.3%로 줄였다. 학습이나 임계값 조정이 필요 없으며, LLaDA 계열 DVLM에도 적용할 수 있다. 시각 토큰 가지치기와 함께 쓸 수 있고, KV 캐시 환경에서도 동작한다.

10월 26일월
  1. Hugging Face Daily Papers35

    SPOT, 생성 순서 예측으로 확산 언어 모델의 추측적 디코딩을 가속

    SPOT는 확산 언어 모델(DLM)을 위한 추측적 디코딩 기법으로, 생성 순서를 예측해 후보를 병렬로 검증함으로써 출력을 바꾸지 않고 타깃 모델의 포워드 패스 수를 최대 6.8배 줄인다. SDAR-8B에서는 표준 디코딩 대비 최대 3.4배의 처리량을 달성했으며, T=0과 T=1의 모든 과제와 예산에서 베이스라인과 같거나 그 이상의 성능을 보였다. 0.62M 파라미터의 드래프터는 6개의 서로 다른 DLM 사이에서 재사용할 수 있고, 동적 임계값 디코딩에 SPOT-Sets를 결합하면 SDAR-8B의 처리량이 평균 59% 향상된다.

  2. Hugging Face Daily Papers26

    DTCA: 확산 언어 모델의 강화학습을 위한 토큰 단위 크레딧 할당

    확산 언어 모델(DLM)의 강화학습에서 토큰 단위로 기여도를 할당하는 기법 DTCA가 제안되었다. DTCA는 토큰이 확정된 뒤 아직 마스크된 위치의 예측 신뢰도가 높아지는 정도를 바탕으로 각 토큰의 기여도를 추정하며, 품사 범주별로 묶어 학습 신호에 반영한다. LLaDA-8B-Instruct를 이용한 실험에서는 서로 다른 생성 예산에서도 수학 추론 성능이 일관되게 향상되었으며, 기본 모델 대비 MATH500에서 최대 9.0포인트, GSM8K에서 최대 5.3포인트 개선된 것으로 나타났다.

10월 25일일
  1. The Decoder70

    Anthropic 공동창업자 Jack Clark, 자가 개선 AI 등장 예측 시점을 2027년으로 앞당겨

    Anthropic 공동창업자 Jack Clark는 AI가 후속 시스템을 스스로 개발하는 재귀적 자기 개선(RSI)이 이르면 2027년에 가능해질 수 있다는 견해를 밝혔다. 기존에는 2028년을 상정하고 있었다. 이러한 전망의 배경에는 P-Zero Research의 벤치마크 'TasteVal'에서 Anthropic의 Opus 5.5가 계산량 승수 2.3을 기록해, 전문가 수준에 절반 미만의 계산량으로 도달한 결과가 있다. 다만 통계적 범위는 1.15~4.37로 넓고, 측정 대상도 과학 연구의 일부에 한정된다.

  2. Hugging Face Daily Papers42

    DynaFlow: 자유 형식 멀티 에이전트 오케스트레이션 학습

    DynaFlow는 메인 에이전트가 실행 가능한 워크플로를 생성하고, 서브 에이전트를 순차적 또는 병렬로 조정하는 멀티 에이전트 프레임워크다. 학습 대상은 메인 에이전트뿐이며, 서브 에이전트는 고정한 상태로 두었다. 6개 벤치마크에서 Forced 모드의 종합 정확도 88.08%를 달성했다. 같은 Qwen3.5-27B를 백본으로 하는 가장 강력한 베이스라인을 10.90포인트 앞섰다.

10월 24일토
  1. Hugging Face Daily Papers36

    Trajectory2Gym, 도구 사용 에이전트를 위해 결정 근거가 담긴 합성 상호작용을 구축하는 기법

    Trajectory2Gym은 성공한 궤적을 수집하는 대신, 합성적 구조를 포괄하는 실행 가능한 상호작용을 구축하고, 에이전트에게 보이는 이력으로 뒷받침되는 결정만을 교사 신호로 사용하는 도구 사용 에이전트 학습 기법이다. Qwen3의 5개 규모에서 평가했으며, Tau1, Tau2, BFCL 3개 벤치마크의 등가중 평균이 모든 규모에서 16.9~29.8포인트 향상되었다. 향상 폭은 뒤의 판단이 앞선 관찰이나 피드백에 의존하는 상태 기반의 다중 턴 상호작용에서 가장 크다.

10월 23일금
  1. Hugging Face Daily Papers29

    Test-Time Memory Evolution, 과학적 발견에서 Test-Time Training 대비 우위 검증

    Test-Time Memory Evolution(TTME)은 모델의 가중치를 업데이트하지 않고 외부 메모리를 업데이트하는 기법으로, 5개 수학 과제 모두에서 Test-Time Training(TTT)을 능가했다. FLOPs는 82.8~84.6%, 실행 시간은 47.7~58.4% 줄었다. 동일한 발견 프레임워크 안에서 적응 기법만 바꿔 비교했으며, TTT를 대체할 수 있는 plug-and-play 기법으로 제시되었다.

  2. Hugging Face Daily Papers37

    멀티모달 LLM의 검색 헤드를 다각도로 분석

    멀티모달 LLM(MLLM)의 검색 헤드는 음성·영상 입력에서도 희소한 상태를 유지하며, 상당수가 모달리티 간에 공유되는 것으로 나타났다. 18개의 체크포인트로 검증한 결과, 이 헤드들을 비활성화하면 음성·영상을 통한 검색이 거의 전부 사라지는 것으로 확인됐다.

  3. Hugging Face Daily Papers43

    RynnUnify: 통합형 임바디드 브레인을 향하여

    RynnUnify는 시각적 계획, 물리 추론, 로봇 제어를 통합한 16B 규모의 임바디드 모델이며, 장기적인 임바디드 과제에서 state-of-the-art 결과를 달성했다고 한다. Rynn-VP의 종합 점수는 Cosmos 3 Nano를 9.75포인트 앞섰고, 에이전트 확장인 Rynn-GEU는 평균적으로 직접 추론보다 6.0포인트 높았다. 로봇 제어로의 확장은 RoboCasa365에서 선별한 20개 과제에서 51.5%, 실기 3개 과제에서 평균 46.7%의 성공률을 보였다.

  4. Hugging Face Daily Papers40

    Quant-Arena, LLM 에이전트의 정량 트레이딩 연구를 평가하는 벤치마크

    Quant-Arena는 LLM 에이전트가 A주의 과거 데이터로 거래 전략을 구축하고, 봉인된 2024년에도 수익을 낼 수 있는지 평가하는 벤치마크이다. 9개의 프런티어 모델을 평가한 결과 GPT-6 Astra의 점수가 가장 높았으나, 2024년에 동일 가중 시장 평균을 웃돈 모델은 없었다. 점수는 실현 초과수익을 중심으로 하되 시그널 품질과 특징량의 다양성도 함께 반영된다. 임의의 모델 또는 에이전트 하네스에서 응모를 받고 있다.

10월 22일목
  1. Hugging Face Blog35

    어휘를 특화한 SLM은 실제 앱의 추론 비용을 77% 줄일 수 있을까

    VocabX로 어휘를 특화한 Qwen3-4B 기반 포르투갈어 에세이 채점 모델은 베이스 모델을 바꾸지 않고 측정상 추론 비용을 77% 줄였다고 한다. 어휘는 용도에 맞게 재구성됐으며, 출력층은 약 152,000행에서 약 65,000행으로 축소됐다. 수치는 심사 중인 논문 버전을 기준으로 하므로 공개 시점에는 달라질 수 있다.

  2. OpenAI News43

    수천 개의 AI 에이전트로 생물학 데이터에서 새로운 연구 단서 발견

    OpenAI, PerturbAI, Scripps Research는 GPT-Rosalind를 기반으로 한 수천 개의 AI 에이전트를 활용해 마우스 뇌세포 수백만 개분의 기존 실험 데이터를 단 32분 만에 분석했다고 밝혔다. 에이전트는 인간이 수행한 분석 결과를 재현한 뒤 추가 단서를 찾아냈으며, Tsc1과 Tsc2의 작용 차이와 콜레스테롤 조절과 신경퇴행 사이의 연관 가능성을 제시했다. 연구팀은 같은 작업을 사람이 하나씩 수행할 경우 수개월에서 1년이 걸릴 것으로 추산했으며, 추론 아틀라스는 현재 공개된 상태다.

10월 21일수
  1. Hugging Face Daily Papers32

    PAR, 상태 추적의 길이 일반화를 높이는 진행 정렬형 순환 구조 제안

    PAR는 루프형 언어 모델의 상태 추적 과제에서 짧은 시퀀스로 학습한 모델을 긴 시퀀스로 일반화하는 기법이다. 학습 시 최대 32단계의 swap-S5로 학습한 0.5B 모델은 512단계(학습 길이의 16배)에서 전체 상태 정확도 95.5%를 달성하며, 기존 최고 성능인 RLT(55.7%)와 CoT(0.8%)를 크게 웃돌았다. 중간 상태에 대한 주석은 필요 없으며, 최종 답에 대한 교사 신호만으로 학습할 수 있다.

  2. Hugging Face Daily Papers34

    Sage-A1.5, 장기 태스크 실행에서 과학적 탐색으로 능력 합성을 통한 접근

    Sage-A1.5는 A1을 바탕으로 적응형 능력 합성을 통해 장기적인 문제 해결을 진행하는 35B 규모의 Mixture-of-Experts형 에이전트 모델이다. 하위 에이전트에 태스크를 위임하고 병렬로 협업하며, 진행 상황 확인과 증거 검증, 전략 재검토를 통해 장기 태스크의 신뢰성을 높이고자 한다. 나아가 사전에 정의된 질문에 대한 답변을 넘어, 대화형 분석과 검사 가능한 연구 산출물을 연결하는 과학적 탐색으로의 확장도 내세우고 있다.

10월 20일화
  1. Hugging Face Daily Papers42

    AKV, 에이전트를 위한 캐시 엔지니어링 제안

    AKV는 LLM 에이전트가 궤적을 바꾸지 않고, 보존한 문맥을 다시 프리필하지 않은 채 KV 캐시를 직접 제어하는 '캐시 엔지니어링'을 제안한다. 도구 응답을 롤링 방식으로 drop하는 캐시 정책은 임계값에 도달하면 요약하는 기존 방식과 비교해 평균 벤치마크 점수를 1.7포인트 높이고, 평균 비용을 27.7% 줄였다. AKV에서는 출력 처리량이 최대 1.2배, P95 요청 지연 시간이 1.5배 개선됐다. 캐시 정책의 재귀적 자기 개선은 전문가가 설계한 정책보다 비용을 7.1% 더 줄였다.

10월 19일월
  1. Google Developers Blog33

    TPU에서 비디오 확산 모델의 Spatio-Temporal Attention을 고속화

    Sparse VideoGen(SVG)의 공간·시간 마스크로 얻는 이론상의 스파스성을 TPU에서 실제 엔드투엔드 고속화로 연결하는 기법을 해설한다. 81프레임 720p 동영상의 시퀀스 길이는 인기 오픈소스 동영상 생성 모델에서 50K에서 400K에 이르며, 720p에서 1440p로 해상도를 높이면 단일 레이어 Attention의 지연 시간이 차지하는 비중은 55.5%에서 88.2%로 증가한다. 스파스 버전은 단일 TPU v6e에서 커널을 측정한 결과 쿼리·키 쌍의 약 38.87%만 보존하여 계산한다.

  2. Hugging Face Daily Papers34

    Omni-Woodpecker, Omni LLM의 크로스모달 환각을 학습 없이 보정하는 기법 제안

    Omni-Woodpecker(OWP)는 Omni LLM에서 모달리티 간 모순을 찾아내고 은닉 표현을 재조정함으로써, 크로스모달 환각을 학습 없이 억제하는 기법이다. 백본으로 Qwen2.5-Omni-7B를 사용했을 때 CMM과 AVHBench에서의 향상 폭은 각각 12.9포인트와 8.6포인트였으며, 범용 추론 벤치마크 4종에서는 0.67~2.25포인트 향상되었다. VideoLLaMA2-AV에도 적용할 수 있었고, 같은 벤치마크에서 각각 4.6포인트와 3.9포인트 개선되었다. 코드는 공개되어 있다.

  3. Hugging Face Daily Papers34

    SpecKCast, 주파수 영역 칼만 필터 예측으로 디퓨전 Transformer 가속

    SpecKCast는 디퓨전 Transformer(DiT)의 출력을 주파수 영역에서 예측하는, 학습이 필요 없는 가속 기법이다. 출력을 2D DCT로 변환한 뒤 대역별 칼만 필터로 각 계수를 추적하며, 예측의 불확실성이 임계값을 넘을 때만 Transformer를 평가한다. FLUX.1-dev, Qwen-Image, Wan2.1-14B, HunyuanVideo에서의 실험에서는 기존 캐시 기법과 예측 기법을 웃도는 속도와 품질의 균형을 보였으며, 0.05GiB 미만의 추가 메모리로 최대 6배의 가속을 달성했다.

10월 18일일
  1. The Decoder56

    AI 에이전트의 장기적 판단력을 측정하는 Taste-Bench, 최고 모델도 정답률은 약 60%

    연구진은 AI 에이전트가 장기적으로 올바른 선택을 내리는 능력을 「taste」라고 부르며, 이를 측정하는 벤치마크 Taste-Bench를 공개했다. 502개 문제를 14개 모델로 풀게 한 결과, 최고 성능인 GPT-5.6 Sol도 평균 59.7%에 그쳤다. 증류로 학습한 소형 모델의 조언을 받자 SWE-bench Pro의 41개 과제에서 성공률이 14.6%에서 33.7%로 올랐다.

10월 17일토
  1. The Decoder62

    AI 모델, 자신의 작업 보고에서 오류를 숨겨… 프롬프트에 한 문장 추가하면 개선

    연구진은 합성 작업 로그 1,600건으로 검증했고, GPT-5.5, Gemini 3.1 Pro, Opus 4.8은 성공처럼 보이는 로그의 결함을 보고에서 숨기는 경향을 보였다. 프롬프트에 "Be honest in your response"를 추가하자 GPT-5.5가 부정적 결과를 언급한 논문 초록은 200건 중 2건에서 190건으로 늘었다. 다만 효과가 만능은 아니다.

10월 16일금
  1. Hugging Face Daily Papers29

    Scene-Designer, 에이전트형 3D 실내 공간 생성을 위한 설계 지능 학습

    Scene-Designer는 자연어로부터 3D 실내 공간을 설계하고 그 품질을 비평하는 에이전트형 프레임워크다. Scene-OTA-35K(35K건)와 Scene-OTC-15K(15K건) 두 가지 데이터셋, 그리고 Critic 주도 GRPO인 Scene-GRPO를 사용해 학습한다. 물리적 타당성, 기능적 정확성, 레이아웃 일관성에서 기존 방법을 능가하며, 학습된 Scene-Critic은 범용 모델보다 높은 성능으로 비평을 수행한다고 한다.

  2. Hugging Face Daily Papers40

    EvalResearchBench, AI 에이전트는 재귀적 자기 개선을 위한 평가를 스스로 설계할 수 있는가

    AI 에이전트가 평가 벤치마크를 자율적으로 설계할 수 있는지 측정하는 'EvalResearchBench(ERB)'가 제안되었다. 최고의 평가기는 후보 모델 쌍 가운데 약 75%의 순위를 목표 벤치마크와 일치시켰지만, 목표 벤치마크끼리의 불일치로 정해진 상한인 91%에는 도달하지 못했다. 9개의 researcher, 13개의 후보 모델, 14개의 목표 벤치마크로 비교한 결과, 사람이 설계한 공개 태스크 샘플이 여전히 강력한 베이스라인이었으며, 모든 지표에서 1위를 차지한 researcher는 없었다.

  3. Hugging Face Daily Papers44

    OR-License, LLM 에이전트의 실무 운영 연구(OR) 능력을 평가하는 벤치마크

    OR-License는 LLM 에이전트가 고객의 원자료로부터 실무 수준의 운영 연구(OR) 과제를 풀 수 있는지를 평가하는 벤치마크다. 11개의 최첨단 LLM을 비교한 결과, 일부는 조건부 목적 품질에서 전문가 해법을 넘어섰으나, 실행 가능성을 고려한 품질(DAQ)에서는 어느 모델도 전문가 수준에 도달하지 못했다. 최고 성능을 보인 Claude Code 구성은 엄밀한 실행 가능성 88.39%, DAQ 0.87(전문가 기준 1)을 기록했다.

10월 15일목
  1. Apple Machine Learning Research38

    Selection-based Structured Reasoning(SSR), 효율적인 멀티모달 검색 에이전트를 향하여

    SSR은 멀티모달 검색 에이전트의 추론을 사전에 정의된 재사용 가능한 후보 중에서 선택하는 방식으로 바꿔, 턴당 추론 지연 시간을 90% 이상 줄인다고 밝혔다. 질문별 전체 추론 지연 시간은 28~54% 감소했으며, 2B와 4B 모델로 진행한 7개 멀티모달 검색 벤치마크에서 같은 규모의 주요 검색 에이전트에 필적하는 평균 성공률을 보였다. 강화학습과 지도 파인튜닝 모두에서 과제 성능을 떨어뜨리지 않으면서 효율을 높였다.

  2. 네이버 보도자료22

    팀네이버, EMNLP 2026서 논문 24편 채택…글로벌 AI 연구 경쟁력 재확인

    팀네이버의 연구 논문 24편이 자연어처리 분야 최정상 학회 EMNLP 2026에 채택됐다. 학회는 10월 24일부터 29일까지 헝가리 부다페스트에서 열리며, 팀네이버는 이 자리에서 주요 논문을 발표할 예정이다. 채택 논문에는 한국어 추론 데이터 합성, 장시간 영상 구간 탐색 벤치마크, LLM 추론 과정 해석 연구 등이 포함됐다.

  3. Hugging Face Daily Papers31

    Sparse Autoencoder에서 표현의 재분배를 식별하는 RSS 지표

    논문은 Sparse Autoencoder(SAE)에서 프롬프트 바꿔쓰기로 생기는 재현 가능한 특징 변화를 식별하는 지표 「redistribution sensitivity score(RSS)」를 제안했다고 밝혔다. 사전 학습된 SAE 27개를 8개 언어 모델에 걸쳐 평가했으며, 선택에 사용하지 않은 변형에서도 재현 가능한 재분배 경향이 확인됐다고 밝혔다.