Scaling Laws for Reward Model Overoptimization

Meta info.

• Authors: Leo Gao, John Schulman, Jacob Hilton
• Paper: https://arxiv.org/pdf/2210.10760
• Affiliation: OpenAI
• Published: October 29, 2022
• Conference: PLMR2023

TL; DR

RM으로 Policy model을 학습하면 학습할수록 real (human) preference와 격차가 벌어지는 overoptimization이 (반드시) 발생되며, 이 현상의 도달을 늦추는(?) 데에는 RM의 사이즈를 키우는게 유의한 영향을 끼치는 것으로 보임.

Effects

• setup
  • human data (real performance) 로 학습한 RM을 Gold RM으로
  • 이에 더해 synthetic data로 학습한 RM을 Proxy RM으로 가정
  • 즉 전자를 gold로 가정하여, initial Policy 모델을 Proxy RM으로 RL이 진행될수록 (KL distance가 증가할수록) 벌어지는 격차에 대한 emperical 연구
• results
  • RM의 사이즈를 키우는건 현상을 늦추는 데에는 도움이 되나
  • RM 사이즈 고정하고 RL에 사용되는 데이터 사이즈는 딱히 scaling law가 발견되지 않았고
    • 다만특정 수준으로 data size가 넘어가면 RM validation loss 가 감소했는데,
    • Proxy RM size나 data size와 무관하게, RM이 비슷한 validation loss를 가지면 비슷한 gold score (=학습수준) performance를 낸다고(..?비약이 너무 심한거같은데)
  • Policy model size (=LM)에 대해서는 작은 모델일수록 더 최적화로 얻는 효과가 더 크다고.
  • Gold score 기준 RL > Best of N ( Rejection Sampling ) 학습은 더해야겠지만,,