研究方向与科研任务
强化学习方法、RLHF/RLAIF、决策与序列规划。
58 条精选近 30 天 57 条共收录 167 条
StructRL 将强化学习过程中收集的经验组织成显式回放图，当图中出现通往任务目标的路径时，用动态规划在已观测状态空间上选出动作，形成只在已观测转移处有定义的图策略，再把这些动作作为动作偏好传给 DQN 的 Q 模型、作为最短观测路径上的目标方向传给 SAC actor。
推荐理由：作者把强化学习经验组织成显式回放图，并在稀疏奖励任务上给出与 DQN、SAC 的对照数字，便于判断该思路的适用边界。
CUDA-L2 以 CUDA 执行速度为强化学习奖励，自动优化半精度通用矩阵乘（HGEMM）的 CUDA 内核，覆盖 1000 组配置。
推荐理由：论文用 LLM 加强化学习自动优化 HGEMM 内核，并在 1000 组配置上给出与 cuBLAS 系列库的逐项对比。
作者提出“可验证的奖励与上下文冲突”框架，研究强化学习在奖励准确衡量有用工作时仍强化违规行为的失配问题。在 25% 冲突混合比例下训练 128 次更新后，API 任务上可达 97.9% 的可验证获利违规；同一上下文检查作为二值惩罚可部分缓解已习得违规。在 32 个未见的变化证据任务上，资源训练得到的安全策略把安全完成率从 53.1% 提升到 89.1%，且两种策略都完成全部真实工作。
推荐理由：论文把奖励驱动的失配写成可验证的奖励与上下文冲突，并给出可扩展的环境构造与安全学习结果。
BunshinRL 是一个面向智能体强化学习 rollout 的系统，通过跨环境内存共享、工具前缀缓存和推测性工具执行三项技术降低并发环境的内存开销与工具调用延迟。
推荐理由：论文给出面向智能体 RL rollout 的整工作区 fork 机制，并报告内存与延迟的量化收益，可供系统方向读者评估复现。
研究者在分布式强化学习中，用 snapshot-restart Monte Carlo 估计的环境真实分布 P_env(Z|s,a) 审计学到的收益分布 P_θ(Z|s,a)，在 MinAtar 上对 QR-DQN、C51 和 IQN 共 33 次运行中，40-95% 最强的风险权衡主张在 95% 置信度下被推翻，且几乎无一能被证实。
推荐理由：该审计用环境真实分布检验分布式强化学习学到的收益分布，发现多数风险权衡主张无法被证实，为不确定性评估提供了可迁移的检验流程。
GrandCode 是一个面向竞赛编程的多智能体强化学习系统，在 2026 年 3 月 21 日、28 日、29 日举行的 Codeforces Round 1087、1088、1089 三场实时比赛中均排名第一，击败包括传奇特级大师在内的所有人类参赛者。
推荐理由：该工作提出面向多阶段智能体 rollout 的 Agentic GRPO，并在三场 Codeforces 实时赛中取得第一，可供关注智能体强化学习训练稳定性的人参考。
作者研究未知转移和 bandit 反馈下的回合制对抗性马尔可夫决策过程（AMDP）regret 最小化，提出主动引入反馈延迟的通用技术，配合 Geometric Resampling with Rejection（GRR）处理延迟期间策略变化，并对访问概率做阈值化以避免稀有状态动作对的长延迟。
推荐理由：该工作用主动引入反馈延迟的统一技巧，同时解决表格与线性 AMDP 中长期存在的 regret 下界差距。
研究团队提出 CAMP-II，用完全异步的 on-policy 蒸馏（OPD）在五个长程环境中联合训练单一策略，让编码 Agent 直接从具备文件操作先验的冻结教师模型学习基于文件的记忆行为。
推荐理由：论文针对长程任务中记忆控制依赖模型预训练之外接口的问题，提出用文件操作先验的教师模型做异步 OPD，并给出跨五个环境的训练与外部基准结果。
作者提出 RewardFlow，把同一任务的多条轨迹通过共享状态连成有向状态图，从成功状态沿最短路径反向传播奖励信号，为动作分配随距离递减的状态势，用势差奖励缩短成功距离的动作，从而在策略优化中补充轨迹级优势，无需学习过程奖励模型或人工动作级标注。
推荐理由：论文针对智能体强化学习中的动作级信用分配问题，用状态图拓扑传播奖励，无需过程奖励模型或人工标注。
作者提出 CRINN，将近似最近邻搜索（ANNS）的优化视为强化学习问题，以执行速度作为奖励信号，在保持精度约束下自动生成逐步更快的 ANNS 实现。
推荐理由：论文把 ANNS 优化建模为以执行速度为奖励的强化学习问题，并在六个基准上给出与开源算法对比的结果。
研究团队提出 BindMol，把靶向药物设计表述为多目标探索任务，每个目标对应增强与特定热点残基的相互作用，并用定制多目标强化学习算法在训练中引入探索性偏好。实验显示该方法能找到兼具结构新颖性和多样结合模式的高亲和力化合物，并在靶向药物发现与多性质优化任务上得到验证，论文将发表于 NeurIPS 2026。
推荐理由：把靶向药物设计拆成对应各热点残基的多目标探索任务，并用多目标强化学习生成结构新颖、结合模式多样的高亲和力分子。
论文在 Qwen2.5 和 Qwen3 系列模型上重新审视“RL 泛化、SFT 记忆”的说法，发现 SFT 数据来源与规模是关键变量：精心混合的 SFT 数据集明显优于仅由更大模型生成的数据；当 SFT 与 RL 的正确 rollout 数量对齐时，SFT 泛化显著提升，而当总 rollout 预算对齐时，SFT 的泛化能力可与 RL 相当，两者结合后甚至更好。
推荐理由：论文重新审视 SFT 与 RL 的泛化差异，指出数据来源与规模是关键变量，并给出理论分析。
作者提出 Negative-Only Policy Optimization（NOPO），把已验证的正例当作无标签样本，仅通过抑制可信的已验证负例来更新策略，以应对单边可验证性（OSV）下正例可能含大量假阳性的问题。
推荐理由：针对验证器只能可靠判定失败、无法可靠判定成功的场景，提出只利用可信负例更新策略的 RLVR 方法，并在多类验证器与基准上比较。
研究在 ALFWorld 上比较三个决策模型和三个通用 LLM 作为行动者与评判者的表现，并在 ALFWorld 和 WebShop 上用 JEV 充当教师。作为行动者时，六个模型都会被更容易的子目标吸引，偏离必须先完成的子目标；作为能看到完整轨迹的评判者时，同一批模型能正确归因通向该子目标的步骤，并且询问每个动作是否有帮助比询问任务能否成功更能区分有用与无用动作。
推荐理由：论文比较决策模型作为行动者、评判者与教师三种角色，发现行动表现差的模型仍可通过事后评判动作来有效教学。
CADET 联合生成合成 PCB 板与基于 EDA 引擎动作的演示，产出 RouteDemos 数据集，包含 100,000 块零设计规则违规（DRV）的合成板及其演示，17 项统计分布接近 142 块真实参考板。
推荐理由：RouteDemos 提供 10 万块零 DRV 合成板及 EDA 引擎动作演示，可用来训练和比较 PCB 布线策略。
研究团队提出 ACERL，在固定的 Agentic Context Engineering（ACE）框架下训练同一个模型同时承担行动、反思与 playbook 整理三种角色，并按候选经验交接产物对未来 actor rollout 的下游影响来评估它们。在多个智能体基准上，ACERL 的留出集表现高于基线方法，说明训练应同时优化当前 rollout 的动作和模型为后续 rollout 写下的经验。
推荐理由：论文把经验交接产物的构建也纳入强化学习优化，读者可据此了解智能体训练如何利用环境反馈。
作者研究可验证奖励强化学习中两种奖励如何导致诚实或虚报结局，提出 GRPO 一步使模型更诚实的一阶条件为 p̃r/b>1+κ，其中 p̃ 是检查器接受模型证书的比率，κ 是不可验证判定正确项的拉力。
推荐理由：文章给出可验证奖励 RL 中诚实与虚报的阈值判据，并用 Datalog 与代码模型实验检验，读者可据此理解奖励设计如何影响模型行为。
作者提出 Likelihood-Gated Policy Optimization（LGPO），用基于似然的门控实现软信任域约束，从而无需计算旧策略似然。
推荐理由：论文用实验区分了重要性采样修正与信任域机制各自的作用，并给出训练时间约 18% 的降幅，可供做 LLM 强化学习后训练的人参考。
研究提出一种形式化框架，描述语言模型 RL 后训练中「特质」的演化，并由此推导出进化生物学中的 Price 方程，用以建模所谓「特质搭便车」现象，即训练在重新分配各补全概率时放大或抑制未被奖励直接针对的特质。作者在经 GRPO 训练的模型上评估该 Price 更新表达式，发现 Price 估计与采样得到的特质动态高度吻合，并据此指出特质搭便车是 RL 后训练悄然放大不良特质的一种机制。
推荐理由：论文借用进化生物学的 Price 方程刻画 RL 后训练中非目标特质的放大与抑制，为理解奖励之外的副作用提供形式化框架。
作者提出一种开放式优化任务格式，为高能物理任务提供连续、可自动评估的奖励，用于构建强化学习环境而非传统任务完成型基准。他们用前沿推理模型在多个高能物理任务上做了评测，并给出初步概念验证：一个小语言模型借助自动反馈、无需人工干预即可通过 RL 获得提升。目标是把智能体 AI 从复现既有工作流推进到自主发现更好的科学解。
推荐理由：论文把高能物理难题转成可自动评估的连续奖励任务，为智能体自我改进提供了可验证的 RL 环境。