LoCo, 국소 선호 학습으로 추론의 과잉 사고 압축

1. 04:00
   Hugging Face Daily Papers

   LoCo, 국소적 선호 학습 기반 추론 압축 기법

   LoCo는 추론 모델이 언제 사고를 멈춰야 하는지를 국소적 선호 학습으로 가르치는 추론 압축 기법이다. 수학 벤치마크 5종에서는 완료 길이를 41.7%~45.4%, 코드 벤치마크 3종에서는 23.4%~36.3% 줄였으며, 정확도는 유지되거나 향상되었다. 학습은 모델이 스스로 생성한 수학 추론 트레이스만으로 이루어지며, 코드 생성에도 전이된다. 코드와 모델은 공개될 예정이다.

현재 화제도 3·비교 가능한 최고치 3 (11월 4일 22:00)·24시간 비교 가능 변화 –

추이는 연속으로 빠짐없이 관측한 계정만 비교하므로 현재 화제도 수치보다 범위가 좁을 수 있습니다. 포인터를 움직이거나 차트를 누르면 시간대별 화제도를 볼 수 있고, 키보드에서는 왼쪽·오른쪽 방향키를 쓰면 됩니다.