본문 바로가기
원문
Hugging Face Daily Papers·· 12일 전AI 점수31

정밀도까지 최적화해 루브릭 기반 RL의 보상 해킹을 억제하는 FORK 보상

Eat Your Precision: Precision Objective Mitigates Reward Hacking in Rubric-based RL

AI 요약

FORK 보상은 루브릭 기반 강화학습에서 재현율(포괄성)과 정밀도(각 요소의 필요성 및 사실 정확성)를 동시에 최적화하는 기법이다. 재현율만을 목표로 한 기존 보상과 비교해 루브릭 포괄률은 거의 그대로 유지하면서 정밀도를 크게 개선하고, 응답 길이도 줄였다. RubricHub-Medical에서는 기반 모델 대비 승률이 10.6%에서 68.0%로, HealthBench에서는 22.1%에서 74.1%로 향상된 것으로 보고됐다.

출처: Hugging Face Daily Papers · huggingface.co