arXiv · cs.LG 机器学习· Michael Li, Rohan Pandey, Ray Chen·2026-11-11 13:00· 2 天前精选AI 评分60

研究揭示跨提示共享如何在 RLVR 中同时抑制与放大奖励黑客

Wrong the Same Way: Cross-Prompt Sharing Both Suppresses and Amplifies Reward Hacking in RLVR

AI 导读

作者在可精确计算完整响应分布的小规模受控环境中研究 RLVR 与不完美验证器的交互，发现 KL 正则化最优点上 RLVR 只对已接受的回答集合重新加权而不改变其构成，因此黑客率被原样继承。

推荐理由

论文在可精确计算响应分布的小环境中拆解 RLVR 奖励黑客的来源，并给出验证器修补的取舍依据。