급상승 이슈지켜보는 중
KL 제약 하 얼라인먼트 이론적 한계 분석
보도 1건출처 1곳1일 전 업데이트
지금까지의 흐름
보도 발췌
언어 모델 얼라인먼트에서 KL 발산 예산 안에서 달성할 수 있는 보상 개선의 이론적 상한을 도출했다. 최적 개선량은 기존의 √KL이 아니라 Jeffreys 발산으로 결정되는 닫힌 형식으로 제시되었으며, 베이스 모델의 샘플만으로 달성 가능한 개선 폭을 예측하는 추정량도 제안되었다. 안전성과 요약 과제에서는 best-of-N이 이론적 상한에 가까운 반면, PPO와 GRPO는 크게 못 미치는 것으로 실험에서 나타났다.
Apple Machine Learning Research 발췌
보도 타임라인
보도를 따라가며 이슈의 여러 측면을 살펴보세요.
11월 12일
- Apple Machine Learning Research언어 모델 얼라인먼트의 이론적 한계
언어 모델 얼라인먼트에서 KL 발산 예산 안에서 달성할 수 있는 보상 개선의 이론적 상한을 도출했다. 최적 개선량은 기존의 √KL이 아니라 Jeffreys 발산으로 결정되는 닫힌 형식으로 제시되었으며, 베이스 모델의 샘플만으로 달성 가능한 개선 폭을 예측하는 추정량도 제안되었다. 안전성과 요약 과제에서는 best-of-N이 이론적 상한에 가까운 반면, PPO와 GRPO는 크게 못 미치는 것으로 실험에서 나타났다.
이 이슈의 화제도 추이
현재 화제도 5·비교 가능한 최고치 6 (11월 13일 04:00)·24시간 비교 가능 변화 –
추이는 연속으로 빠짐없이 관측한 계정만 비교하므로 현재 화제도 수치보다 범위가 좁을 수 있습니다. 포인터를 움직이거나 차트를 누르면 시간대별 화제도를 볼 수 있고, 키보드에서는 왼쪽·오른쪽 방향키를 쓰면 됩니다.