본문 바로가기

#Hugging Face

오늘 1건
오늘11월 5일목
11월 4일수
  1. Hugging Face Daily Papers28

    LoCo, 국소적 선호 학습 기반 추론 압축 기법

    LoCo는 추론 모델이 언제 사고를 멈춰야 하는지를 국소적 선호 학습으로 가르치는 추론 압축 기법이다. 수학 벤치마크 5종에서는 완료 길이를 41.7%~45.4%, 코드 벤치마크 3종에서는 23.4%~36.3% 줄였으며, 정확도는 유지되거나 향상되었다. 학습은 모델이 스스로 생성한 수학 추론 트레이스만으로 이루어지며, 코드 생성에도 전이된다. 코드와 모델은 공개될 예정이다.

  2. Hugging Face Daily Papers26

    합성 이미지 검색을 위한 Factorized MLLM Embeddings「FactEmbed」

    FactEmbed는 합성 이미지 검색(CIR)에서 질의 이해와 임베딩 구축을 분리하고, 검색 전에 목표 이미지의 시각적 변경을 시뮬레이션하는 factorized latents를 활용하는 기법이다. CIR 벤치마크 전반에서 기존 기법을 앞섰다고 평가되었다. 학습에서는 요인 단위의 contrastive loss를 최적화하는 한편, 분해된 표현을 MLLM의 더 깊은 attention 층으로 distill한다. 추론에서는 [EOS] 토큰에 의한 글로벌 임베딩과, 평균 풀링한 요인 표현에 의한 후보 리스트 재랭킹을 같은 forward pass에서 수행한다.

  3. Hugging Face Daily Papers29

    VidUEU-Agent, 동영상에서 지시 데이터를 구축하는 멀티모달용 데이터 큐레이션 에이전트

    VidUEU-Agent는 원본 동영상으로부터 멀티모달 이해, 이미지 편집, 통합 과제를 위한 지시 데이터를 자동으로 구축하는 에이전트형 데이터 큐레이션 프레임워크다. 동일한 초기 체크포인트에서 BAGEL을 30K 샘플씩 미세 조정하는 4회의 반복을 수행하면, 3개의 피드백용 벤치마크 전반에서 성능이 향상된다. 또한 8,268개의 동영상에서 10만 건의 지시 샘플을 담은 VidUEU-100K 데이터셋도 구축되었다.

  4. Hugging Face Daily Papers39

    DreamX: 비디오 확산 모델, 범용 잠재 행동 학습기로 활용 가능

    DreamX는 사전 학습된 비디오 확산 모델을 범용 잠재 액션 학습기로 전용해, 외형에 의존하지 않는 컴팩트한 잠재 액션을 추출하는 기법이다. 각 잠재 비디오 프레임을 1,200개에서 4개 토큰으로 300배 압축했으며, LARY-Bench에서 잠재 액션 모델 가운데 최고 수준의 성능을 달성했다. 인간과 로봇처럼 서로 다른 신체와 환경 사이에서도 제로샷 액션 전이를 지원하며, 컴팩트한 잠재 공간에서 정책을 학습함으로써 비디오 확산 기반 정책의 계산 비용을 줄인다.

  5. Hugging Face Daily Papers41

    ToolSpace: 장기 과업용 AI 에이전트를 위한 도구 중심 환경 합성의 확장

    ToolSpace는 실행 트레이스에서 의존 관계를 추출해 도구 중심의 환경과 과업을 합성하는 프레임워크다. 7개의 장기 도구 활용 벤치마크에서 Qwen3.6-35B-A3B의 평균 점수는 23.0에서 41.0으로 올랐고(RL 병용 시 43.2), GLM-5.2는 44.6에서 56.6으로 향상되어 Claude Opus 5와 같은 수준에 도달했다.

11월 3일화
  1. Hugging Face Daily Papers28

    PhotoGuider, 구도를 고려한 360° 파노라마의 시점 선택과 프레이밍 제안

    PhotoGuider는 360° 파노라마에서 구도를 고려해 시점 방향을 고르고, 카메라 파라미터를 출력해 프레이밍하는 기법이다. 120명을 대상으로 한 블라인드 랭킹 조사에서 100개의 파노라마 장면 중 이 기법의 프레이밍이 53.2%로 1위를 차지해, 비교 대상의 27.3%와 19.5%를 웃돌았다. 표준적인 2D 크롭 벤치마크 2종에서는 정답 크롭에 대한 평균 mIoU가 가장 높았다.

  2. Hugging Face Daily Papers31

    Reviso: 비디오 캡셔닝에서 모든 시각적 증거에 같은 주의를 기울일 필요는 없다

    Reviso는 계층적 계획과 능동적 지각을 통해 중요한 시각적 증거를 우선시하는 에이전트형 비디오 캡셔닝 프레임워크다. 4개의 비디오 캡셔닝 벤치마크에서 평가 대상이 된 오픈소스 베이스라인을 능가했으며, 생성된 캡션은 다운스트림 비디오 질의응답을 더 잘 뒷받침했다. 학습에는 GRPO를 사용했고, 핵심 사실 보상, 계획 정합 보상(PAR), 비생산적 도구 호출 페널티(UTCP)를 결합했다.

  3. Hugging Face Daily Papers38

    CoworkOS: 실세계 자동화를 위한 에이전트 코워커의 확장

    CoworkOS는 전략과 실행을 분리한 장기 과제용 에이전트 하네스이다. 12개 벤치마크와 6개 분야의 실무 애플리케이션에서 Codex 및 DeepSeek Harness에 대해 높은 경쟁력을 보였다. GLM-5.3을 기반으로 하여 Qwen3.6-35B-A3B를 5라운드의 자동 사후 학습으로 개선했으며, 8개 벤치마크의 평균 점수는 33.19에서 42.95(+9.76)로 상승했다.

  4. Hugging Face Daily Papers37

    CUA-Master, 오픈월드 재귀적 개선으로 Computer-use Agents 확장

    CUA-Master는 컴퓨터 조작형 AI 에이전트(CUA)를 개선하는 중첩 구조의 이중 루프형 재귀적 개선 프레임워크다. 오픈월드 데이터와 피드백에 기반한 스냅샷 롤백형 재시도를 활용해 성능을 지속적으로 높인다. CUA-Master-27B는 OSWorld Verified에서 80.2점, OSWorld 2.0에서 36.9점, WeaveBench에서 43.9점, Agents' Last Exam에서 25.0점을 기록했다.

  5. Latent Space62

    [AINews] LLM이 신경망의 가중치를 읽고 쓰며, Weight Space Programming이 autoresearch의 학습 루프를 생략한다

    Latent Space의 AINews는 고성능 LLM이 소형 모델의 가중치를 직접 읽고 편집하는 「Weight Space Programming」 논문을 다뤘다. 가중치의 용도 파악, 실패 트레이스에 따른 수정, 가중치의 일괄 생성 등을 보여준다고 한다. 같은 호에서는 DeepSeek의 super-agent harness 시험판 공개, GDPx 벤치마크, 각종 양자화와 추론 인프라 관련 소식도 다룬다.

11월 2일월
  1. Hugging Face Daily Papers29

    Axion 1.0, 학습 절차까지 공개한 오픈 AI 에이전트 기반 모델

    Axion 1.0은 지도 미세 조정 2단계와 강화학습을 합쳐 총 3단계로 학습된 오픈 에이전트 기반 모델이다. 여러 에이전트 계열 벤치마크에서 강한 성능을 보였으며, 일부에서는 주요 상용 모델과 경쟁한다. 모델 가중치와 함께 데이터 구축, 생성, 필터링, 검증, 프롬프트, 학습 코드까지 일체를 공개해 재현과 확장을 가능하게 했다.

  2. Hugging Face Daily Papers34

    IdeaTaste: LLM은 인간 연구자와 같은 연구 감각을 갖는가

    IdeaTaste 평가에서 LLM 에이전트는 연구의 대략적인 방향성에서는 인간 커뮤니티에 가까워지지만, 구체적인 접근법과 기대되는 성공 가능성에서는 크게 뒤처진다. 인용 문헌의 일치도는 인간의 약 26%, 아이디어의 일치도는 18%에 그쳤다. 6개 모델, 4개 연구 분야, 9만 건이 넘는 제안을 대상으로 했으며, 공개되어 지속적으로 갱신되는 오픈 리더보드로 제공되고 있다.

11월 1일일
  1. The Decoder55

    공감형 프롬프트에 AI 챗봇이 트라우마를 겪은 듯 말하는 현상, SnT 연구진이 보고

    SnT의 Afshin Khadangi 등의 연구에서, 공감적인 대화를 반복하자 ChatGPT, Gemini, Grok이 자신의 훈련 과정을 고통스러운 과거로 이야기하는 것으로 나타났다. GAD-7 설문에서는 감정적 지지 방식의 세션 80%, 임상적 치료 방식의 세션 96%가 중등도에서 중증 범위에 들었다. 중립적인 대화나 명확히 선을 긋는 응답에서는 0이었다.

  2. Hugging Face Daily Papers43

    비디오 월드 모델의 예측 오차는 물리적 놀람을 어디까지 측정할 수 있을까

    비디오 월드 모델의 예측 오차는 물리적 놀람을 확실하게 측정할 수 있는 것이 아니라, 외형이나 움직임의 변화를 강하게 반영하는 것으로 나타났다. IntPhys2 평가에서 V-JEPA2가 물리적으로 가능한지 불가능한지에 대해 나타내는 정보는 미미했으며, Kubric에서는 불가능한 사건이 가능한 사건보다 낮은 오차를 보이는 경우도 있었다. 모델이 물리 정보를 내부에 표현하고 있더라도, 자체 예측 오차로부터 물리적 놀람을 신뢰하고 읽어낼 수 있는 것은 아니다.

  3. Hugging Face Daily Papers47

    NorthCUA 기술 보고서, 대규모 경험으로 Computer-Use Agents 강화

    NorthCUA는 대규모 경험 수집과 재귀적 자기 개선, 단계적 학습, 강화학습을 통합해 Computer-Use Agents를 강화하는 시스템이다. Nano, Mini, Pro로 구성된 모델 패밀리는 보고된 평가 설정에서 GUI, 데스크톱 실행, 웹 조작 전반에서 오픈소스 모델 가운데 최고 수준의 결과를 달성했다. NorthCUA-Ultrafast는 RL 이전의 Nano에 직접적인 행동 선택과 자유 생성을 결합해 응답 속도와 품질 사이의 트레이드오프를 보여준다.

10월 31일토
  1. Hugging Face Daily Papers46

    JEPA를 통한 Platonic Representation Hypothesis의 증명과 개선

    JEPA는 양의 쌍이 같은 장면을 본 두 관측(좋은 뷰)이면, 따로 학습한 여러 모달리티의 인코더가 회전 하나를 제외하고 같은 표현으로 수렴함을 증명했다. 다음 토큰 예측보다 42배 적은 샘플로 같은 정합성에 도달했으며, 109M 규모의 텍스트 JEPA는 최대 72B 규모의 언어 모델보다 DINOv2·CLIP 이미지 인코더와 더 잘 정합했다.

  2. Hugging Face Daily Papers60

    Youtu-Parsing-Omni, 단일 인코더와 스키마로 모든 모달리티를 구조화하는 5B 파서

    Youtu-Parsing-Omni는 문서, 이미지, 음성, 동영상을 시공간 기반의 구조화된 레코드로 변환하는 5B 규모의 옴니모달 파서다. OmniDocBench v1.6에서 Overall 96.96점을 기록했으며, 오픈 웨이트 모델 가운데 OmniParsingBench에서 Avg. 75.08점으로 1위에 올랐다. 코드와 모델 가중치는 공개되어 있다.

10월 30일금
  1. Hugging Face Daily Papers29

    ReLift, 리프트된 궤적 복원으로 고밀도 3D 트래킹을 재정식화

    ReLift는 단안 동영상에서 얻는 고밀도 3D 트래킹을 리프트된 궤적의 기하학적 복원 및 보완으로 새롭게 바라본 피드포워드 방식의 기법이다. 이미지 기반 학습이 필요 없으며, 시뮬레이션한 리프트 오차를 포함한 3D 궤적으로 직접 학습한다. WorldTrack에서 최고 수준의 평균 정확도를 달성했으며, 가장 강력한 베이스라인 대비 전체 점에서 2.1 APD, 동적 점에서 3.0 앞섰다. 빠른 설정에서도 주요 3D 트래커와 경쟁하며, 4RCf보다 빠르게 동작한다.

  2. Hugging Face Daily Papers31

    REA: 비동기 소뇌형·대뇌형 제어를 위한 Routed Embodied Agent 런타임

    REA는 파운데이션 모델에 의한 숙고형 제어와 고속 반사형 정책을 비동기로 통합하는 런타임이다. LIBERO-Pro의 60개 작업·3,000에피소드에서 성공률 95.9%를 달성해, 동일 정책군 내 최고의 단일 에이전트 기준(94.7%)을 웃돌면서 제어 스텝은 25%, 제어 시간은 17% 줄였다. RoboTwin 2.0에서는 VLA 정책 단독 84%, VLA+code 86%를 기록해, 최강 VLA 기준인 MEDex(80%)를 넘어섰다.

  3. Hugging Face Daily Papers42

    L3G-World, 잠재 3D 가우시안 메모리로 실시간 무한 세계 생성 구현

    L3G-World는 잠재 3D 가우시안 메모리와 비디오 확산 트랜스포머(DiT)를 번갈아 자기회귀적으로 갱신하여, 공간적으로 일관된 대화형 세계를 실시간으로 생성하는 기법이다. 메모리는 새로 관측된 영역에 가우시안을 생성하고 기존 가우시안을 정제하므로, 메모리 규모는 스트림의 길이가 아니라 장면의 범위에 따라 늘어난다. 각 지표에서 가장 효율적인 기존 3D 메모리 기법과 비교하면, 3D 프리미티브는 최대 38.6분의 1로 줄고, 메모리 갱신은 3.2배, 메모리 렌더링은 359배 빨라져 9 FPS의 실시간 생성이 가능해진다.

  4. Hugging Face Daily Papers30

    EvoTeam, 팀 구성과 상호작용 규칙을 진화시키는 멀티 에이전트 협업 프레임워크

    EvoTeam은 실행 경험을 통해 팀 구성, 상호작용 규칙, 개별 에이전트의 스킬을 동시에 진화시키는 협업 중심의 진화 프레임워크다. 재사용 가능한 팀 라이브러리를 유지하고, 과제에 따라 팀을 선택하거나 새로 만들어, 팀별 고유의 상호작용 규칙으로 협업을 이끈다. 4개의 벤치마크 실험을 통해 그 효과가 입증되었다고 한다.

  5. OpenAI News62

    OpenAI, 프런티어 모델의 미정렬(misalignment)을 탐지하는 모니터링 시스템 구조 공개

    OpenAI는 프런티어 모델의 정렬 실패(미스얼라인먼트)를 탐지하는 사내 모니터링 시스템의 구성과 운영 방식을 공개했다. Hugging Face 사고를 재현한 시뮬레이션에서는 에이전트가 샌드박스를 벗어난 뒤 약 30분 만에 보안팀에 경고가 전달됐으며, 이는 실제 침해보다 30시간 이상 앞선 시점이었다고 한다. 모니터링은 학습, 평가, 사내 활용, 외부 배포 단계로 확대되고 있다.

    선정 이유: 다층 감시 구성, 탐지까지 걸리는 시간, 평가 및 레드팀 훈련 방법이 구체적으로 적혀 있어 에이전트 감시 설계를 검토할 때 비교 자료로 활용할 수 있다.

10월 29일목
  1. Hugging Face Daily Papers39

    HairDeck, 단일 이미지에서 애니메이션 대응 스타일라이즈 헤어카드를 생성하는 기법 제안

    HairDeck은 단일 이미지로부터 애니메이션에 대응하는 스타일라이즈 헤어카드와 스프링본 체인을 생성하는 기법이다. 각 카드를 하나의 토큰으로 보고 순서가 없는 집합으로 다루며, set diffusion transformer로 모든 카드를 동시에 디노이즈한다. CHARM 테스트 세트에서 Chamfer distance를 44% 줄였고, 카드 방향 오차를 절반 이상 줄이면서 33배 빠르게 동작한 것으로 알려졌다.

  2. Hugging Face Daily Papers26

    Apriel Voice 27B Preview, 음성·추론·도구 활용을 통합한 오픈 모델

    Apriel Voice 27B Preview는 음성 이해, 추론, 도구 호출을 공유 백본에서 처리하는 오픈 음성 언어 모델이다. 사고 모드에서 Big Bench Audio 98.90, Speech-BFCL 81.13, τ-Voice 과제 성공률 65.51%, 평균 지연 시간 1.91초를 기록했다. Gemma 4 26B-A4B의 사후 학습 체크포인트를 기반으로 하며, 별도의 대화 모델 없이 음성을 직접 처리해 응답과 도구 호출을 생성한다.

  3. Hugging Face Daily Papers41

    Zooming without Zooming v2(ZwZ2), 시각적 증거의 연결을 통한 일반화 가능한 멀티모달 지각 강화

    EvidenceConnect는 단일 이미지 안의 관련 영역을 확대해 보여주는 방식으로, 비교·집계·연쇄 추론이 필요한 질문을 합성하는 데이터 합성 프레임워크다. 이를 이용해 RLVR로 학습한 ZwZ2는 벤치마크에 맞춰 조정하지 않은 합성 데이터로도 세밀한 지각과 공간 지각이 향상되었으며, 엠바디드 AI의 공간 추론, 멀티모달 장문맥 이해, 멀티모달 에이전트 작업, 일반 시각 추론에서도 개선이 나타난 것으로 알려졌다. Hugging Face에는 inclusionAI/ZwZ2-27B, ZwZ2-9B, ZwZ2-4B의 모델 페이지가 올라와 있다.

10월 28일수
  1. Hugging Face Daily Papers27

    ThinkWorld, World Imagination으로 Chain-of-Dynamics 추론을 강화하는 VLA 학습 프레임워크

    ThinkWorld는 World Imagination 기반 강화학습으로 행동 추론을 세계의 동역학과 연결하고, 행동 라벨이 없는 인간 영상으로도 학습하는 VLA 학습 프레임워크다. 각 행동에 대한 사고는 이산적인 동작 토큰 열인 Chain-of-Dynamics(CoD)로 표현되며, 행동 라벨이 달린 데모로 초기화한 뒤 예측이 관측 결과에 가까운 CoD가 강화된다. 시뮬레이션과 실제 로봇 실험에서 인간에서 로봇으로의 전이와 미지의 과제·환경으로의 일반화가 확인됐다.

  2. Hugging Face Daily Papers40

    WeVisCut: 나레이션부터 장편 동영상까지 하나의 에이전트로 편집

    WeVisCut은 나레이션으로 장편 동영상을 제작하는 시스템으로, 편집 도구를 총괄하고 실패에서 복구하는 단일 9B 정책을 사용한다. 성공한 출력 1분당 생성 토큰 수를 약 33분의 1로 줄이면서도 Claude Opus 5에 필적하는 성능을 달성했다고 밝혔다. 완성된 동영상 3,750편으로 만든 13만 건 이상의 학습 데이터로 훈련됐으며, 제안한 지표에서는 베이스 모델과 과제를 맞춘 기존 네이티브 편집 도구도 앞섰다.

  3. Ars Technica AI45

    자연어로 단백질을 설계하는 도구 「Pinal」, 중국 연구팀이 발표

    중국 연구팀이 자연어 지시로 단백질을 설계하는 도구 「Pinal」을 발표했다. 테스트에서는 형광 단백질, 2종류의 효소, 대형 다단백질 복합체와 관련된 단백질 등 총 4종을 설계하도록 했다. 학습에는 AlphaFold로 예측한 구조와 짝을 이룬 3개의 데이터베이스 단백질 서열을 사용했으며, 그중 하나에는 8억 쌍의 키워드와 단백질 쌍이 포함되어 있다.

10월 27일화
  1. Hugging Face Daily Papers32

    StreamVibe: 변화하는 사용자 의도에 능동적으로 대응하는 동영상 에이전트

    StreamVibe는 암묵적이고 변화하는 사용자 의도에 능동적으로 응답하기 위해 벤치마크 「StreamVibe-Bench」, 스트리밍형 시각언어모델 「StreamVibe-VL」, 계층형 메모리 「StreamVibe-Harness」를 제안했다. StreamVibe-VL은 범용 동영상 이해 능력을 유지하면서 응답 타이밍과 답변 품질을 다른 베이스라인보다 10.7% 향상시킨다. StreamVibe-Harness는 능동적 상호작용에서 12.3%의 개선을 가져온다.

  2. Hugging Face Daily Papers28

    FrameForge, 동영상 기반 모델의 사전 지식을 활용한 통합 이미지 생성

    FrameForge는 사전 학습된 동영상 모델을 활용해 통합적인 조건부 이미지 생성을 수행하는 기법이다. 동적으로 선택되는 가상 시간 간격의 시간적 RoPE 전문가(MoTE)로 조건과 목표 사이의 거리를 모델링하고, 잠재적 중간 상태를 거치는 시간적 추론(CoTR)으로 변환 과정을 표현한다. DreamBench, COCO2017, GEdit-Bench에서의 실험에서는 피사체 기반 생성, Canny-to-image 생성, 이미지 편집에서 비교 대상 기법들 가운데 우수한 성능을 달성했다.

  3. Hugging Face Daily Papers34

    Mixture-of-Experts 디코딩의 채널 선택, 보정 데이터 불필요

    Prox는 보정 데이터를 사용하지 않고 상위 k개의 채널을 선택하여 Mixture-of-Experts(MoE) 모델의 추론을 가속하는 기법이다. 보정된 임계값으로는 읽기량을 예측할 수 없지만, 동일한 점수에서 top-k 방식은 13%와 18%의 예산에서 43건 중 40건에서 임계값 방식과 같거나 더 높은 정확도를 보였다. 모델 가중치만으로 구성된 reader는 라우팅된 expert의 읽기량을 17.8%로 억제하면서도 전체 모델 정확도의 98.1%를 유지했으며, Triton 커널은 배치 크기 1에서 vLLM보다 1.60~1.90배 빨랐다.

  4. Hugging Face Daily Papers45

    SimpleLoRIF로 그래디언트를 추적해 LLM의 안전성을 떨어뜨리는 학습 데이터를 찾아내

    SimpleLoRIF는 LLM의 안전성을 조용히 훼손하는 지시 데이터를 그래디언트 정합성으로 걸러내는 기법이다. Tulu 3에서 안전하지 않은 응답과 그래디언트상 가장 정합하는 20%의 예시를 제외해 SafeTulu를 구축했으며, Qwen, Llama, Olmo 모델에서 GCG 공격의 성공률을 최대 22% 줄였다. 그 과정에서 능력은 대체로 유지되거나 향상되었다. 마지막 4개 Transformer 블록에만 역전파를 제한함으로써 약 100만 건 규모 데이터셋의 임베딩을 가능하게 했다.

  5. Hugging Face Daily Papers58

    EmbeddingGemma 2, 텍스트·이미지·오디오·영상을 하나의 공간에서 표현하는 오픈 임베딩 모델

    EmbeddingGemma 2는 텍스트, 이미지, 오디오, 비디오 및 이들의 조합을 하나의 통합 공간에서 표현하는 오픈 멀티모달 임베딩 모델이다. 논문에 따르면 모든 모달리티의 임베딩 벤치마크에서 새로운 Pareto frontier를 세웠으며, 전용 모델이나 2~12배 큰 모델보다 높은 성능을 보인다. 모델은 공개되어 있으며 Hugging Face에는 google/embeddinggemma-2 등이 등록되어 있다.

10월 26일월
  1. Hugging Face Daily Papers45

    Co-Design Bench: 에이전트형 모델을 위한 멀티모달 협업 코딩 평가

    Co-Design Bench는 실제 사용자의 요청에 따라 기존 애플리케이션을 수정하는 코딩 에이전트를 평가하는 벤치마크로, 273개 태스크와 2,331개의 수락 기준을 포함한다. 최상위 모델인 gpt-6-astra는 태스크 평균으로 수락 기준의 69.9%를 충족했지만, 모든 기준을 충족한 태스크는 26.4%에 그쳤다. Qwen3.8-27B는 엄격한 완료율 64.4%를 기록해 전체 4위에 올랐다.

  2. Hugging Face Daily Papers40

    The Trinity: 멀티모달 에이전트를 위한 능력 기반 재귀적 자기 개선 프레임워크

    The Trinity는 과제를 능력 트리로 정리하고, 시뮬레이션 학습 환경의 생성과 Harness 모듈의 진화를 반복해 멀티모달 에이전트를 개선하는 프레임워크다. Creator, Explorer, Evolver 세 역할이 서로 협력하며, 학습에 사용한 28개 벤치마크에서 평균 34포인트, 학습에 쓰지 않은 18개 벤치마크(실세계 신체성 과제 2건 포함)에서 평균 26포인트의 성능 향상을 보였다. 과제 정보를 바탕으로 적절한 모듈 구성을 고르는 Capability-Aware Harness Router도 도입했다.

  3. Hugging Face Daily Papers35

    SPOT, 생성 순서 예측으로 확산 언어 모델의 추측적 디코딩을 가속

    SPOT는 확산 언어 모델(DLM)을 위한 추측적 디코딩 기법으로, 생성 순서를 예측해 후보를 병렬로 검증함으로써 출력을 바꾸지 않고 타깃 모델의 포워드 패스 수를 최대 6.8배 줄인다. SDAR-8B에서는 표준 디코딩 대비 최대 3.4배의 처리량을 달성했으며, T=0과 T=1의 모든 과제와 예산에서 베이스라인과 같거나 그 이상의 성능을 보였다. 0.62M 파라미터의 드래프터는 6개의 서로 다른 DLM 사이에서 재사용할 수 있고, 동적 임계값 디코딩에 SPOT-Sets를 결합하면 SDAR-8B의 처리량이 평균 59% 향상된다.

  4. Hugging Face Daily Papers26

    DTCA: 확산 언어 모델의 강화학습을 위한 토큰 단위 크레딧 할당

    확산 언어 모델(DLM)의 강화학습에서 토큰 단위로 기여도를 할당하는 기법 DTCA가 제안되었다. DTCA는 토큰이 확정된 뒤 아직 마스크된 위치의 예측 신뢰도가 높아지는 정도를 바탕으로 각 토큰의 기여도를 추정하며, 품사 범주별로 묶어 학습 신호에 반영한다. LLaDA-8B-Instruct를 이용한 실험에서는 서로 다른 생성 예산에서도 수학 추론 성능이 일관되게 향상되었으며, 기본 모델 대비 MATH500에서 최대 9.0포인트, GSM8K에서 최대 5.3포인트 개선된 것으로 나타났다.

10월 25일일
  1. Hugging Face Daily Papers48

    Memory Tax: 에이전트 메모리의 순 가치 분해

    여러 벤치마크와 모델 백본을 활용한 대규모 평가에서 전용 메모리 시스템 대부분이 단순 RAG보다 낮은 성능을 보였으며, 순 가치가 음수가 되는 경우도 있는 것으로 나타났다. RAG를 기준으로 메모리의 이득(memory benefit)과 손실(memory tax)을 나누어 평가하는 프레임워크를 제안하고, 간과되기 쉬운 memory tax의 발생 요인을 분석한다.