본문 바로가기
원문
Hugging Face Daily Papers·· 10일 전AI 점수26

DTCA: 확산 언어 모델의 강화학습을 위한 토큰 단위 크레딧 할당

DTCA: Denoising Token Credit Assignment for Reinforcement Learning in Diffusion Language Models

AI 요약

확산 언어 모델(DLM)의 강화학습에서 토큰 단위로 기여도를 할당하는 기법 DTCA가 제안되었다. DTCA는 토큰이 확정된 뒤 아직 마스크된 위치의 예측 신뢰도가 높아지는 정도를 바탕으로 각 토큰의 기여도를 추정하며, 품사 범주별로 묶어 학습 신호에 반영한다. LLaDA-8B-Instruct를 이용한 실험에서는 서로 다른 생성 예산에서도 수학 추론 성능이 일관되게 향상되었으며, 기본 모델 대비 MATH500에서 최대 9.0포인트, GSM8K에서 최대 5.3포인트 개선된 것으로 나타났다.

출처: Hugging Face Daily Papers · huggingface.co