본문 바로가기
원문
Hugging Face Daily Papers·· 2일 전AI 점수28

LoCo, 국소적 선호 학습 기반 추론 압축 기법

Think Less, Locally: Local Preference Learning for Reasoning Compression

AI 요약

LoCo는 추론 모델이 언제 사고를 멈춰야 하는지를 국소적 선호 학습으로 가르치는 추론 압축 기법이다. 수학 벤치마크 5종에서는 완료 길이를 41.7%~45.4%, 코드 벤치마크 3종에서는 23.4%~36.3% 줄였으며, 정확도는 유지되거나 향상되었다. 학습은 모델이 스스로 생성한 수학 추론 트레이스만으로 이루어지며, 코드 생성에도 전이된다. 코드와 모델은 공개될 예정이다.

출처: Hugging Face Daily Papers · huggingface.co