Apple Machine Learning Research·· 1일 전AI 점수34
언어 모델 얼라인먼트의 이론적 한계
Theoretical Limits of Language Model Alignment
AI 요약
언어 모델 얼라인먼트에서 KL 발산 예산 안에서 달성할 수 있는 보상 개선의 이론적 상한을 도출했다. 최적 개선량은 기존의 √KL이 아니라 Jeffreys 발산으로 결정되는 닫힌 형식으로 제시되었으며, 베이스 모델의 샘플만으로 달성 가능한 개선 폭을 예측하는 추정량도 제안되었다. 안전성과 요약 과제에서는 best-of-N이 이론적 상한에 가까운 반면, PPO와 GRPO는 크게 못 미치는 것으로 실험에서 나타났다.
출처: Apple Machine Learning Research · machinelearning.apple.com