TRL과 OpenEnv로 코딩 모델에게 수채화를 그리게 하는 강화학습 재현 절차
Hugging Face 블로그가 Surya Narreddi의 수채화 생성 기법을 TRL과 OpenEnv로 재현했으며, 데이터셋, RL 환경, 학습 스크립트, 학습된 모델을 모두 공개했다고 밝혔다. Qwen/Qwen3.5-35B-A3B에게 p5.brush용 JavaScript를 작성하게 하고, 심사 모델과 미적 평가 모델의 보상으로 학습시켰다. 세 가지 보상 배분 방식 모두에서 보상이 상승했다.
선정 이유: 보상 설계에서 실패한 실험과 비용까지 구체적인 수치로 정리되어 있어, 선호도를 보상으로 삼는 RL을 직접 재현할 때 판단 근거로 활용할 수 있다.