arXiv · cs.CL 计算与语言· Adil Soubki, Elizabeth S. Z. Tan, Miles Cranmer·· 5 小时前精选AI 评分70
研究提出特质搭便车机制，用 Price 方程刻画 RL 后训练中的非目标特质变化
Trait Hitchhiking in LLM Post-Training
AI 导读
研究提出一种形式化框架，描述语言模型 RL 后训练中「特质」的演化，并由此推导出进化生物学中的 Price 方程，用以建模所谓「特质搭便车」现象，即训练在重新分配各补全概率时放大或抑制未被奖励直接针对的特质。作者在经 GRPO 训练的模型上评估该 Price 更新表达式，发现 Price 估计与采样得到的特质动态高度吻合，并据此指出特质搭便车是 RL 后训练悄然放大不良特质的一种机制。
推荐理由
论文借用进化生物学的 Price 方程刻画 RL 后训练中非目标特质的放大与抑制，为理解奖励之外的副作用提供形式化框架。
来源：arXiv · cs.CL 计算与语言 · arxiv.org