论文重新审视 SFT 与 RL 的泛化差异:SFT 数据来源与规模起决定作用
论文在 Qwen2.5 和 Qwen3 系列模型上重新审视“RL 泛化、SFT 记忆”的说法,发现 SFT 数据来源与规模是关键变量:精心混合的 SFT 数据集明显优于仅由更大模型生成的数据;当 SFT 与 RL 的正确 rollout 数量对齐时,SFT 泛化显著提升,而当总 rollout 预算对齐时,SFT 的泛化能力可与 RL 相当,两者结合后甚至更好。
推荐理由:论文重新审视 SFT 与 RL 的泛化差异,指出数据来源与规模是关键变量,并给出理论分析。