研究团队在 Gale-Shapley 稀缺市场中对九种谈判架构与九个 LLM 做多方锦标赛评测
研究团队构建了覆盖规则、搜索、优化、模仿学习与强化学习的九种谈判架构，在 Gale-Shapley 匹配市场的均衡与两种稀缺条件下让九者同时参与买卖双方谈判。
推荐理由：九种谈判架构与九个 LLM 在同一 Gale-Shapley 市场多条件对打，揭示单条件评测会掩盖的失效模式。
研究方向与科研任务
强化学习 最新动态
强化学习方法、RLHF/RLAIF、决策与序列规划。
58 条精选近 30 天 57 条共收录 167 条
更新
精选归档 · 第 3 页
arXiv · cs.AI 人工智能精选AI 评分6363 arXiv · cs.AI 人工智能精选AI 评分7575 HyperSkill：免训练多模态 GRPO 框架用超图索引技能库替代梯度更新
HyperSkill 提出一种免训练的多模态 GRPO 框架，保持主干模型冻结，用对超图索引技能库的可审计编辑替代梯度更新，技能作为带优势值的节点、技能组合作为超边。在 11 个文本、视觉语言和多模态基准上，该方法在每个数据集上均为最优或并列最优，平均 F1 比最佳基线高 13.0 分，代码与数据已公开。
推荐理由：论文提出免训练的多模态 GRPO 框架，用超图索引技能库替代梯度更新，并在 11 个基准上给出与基线对比的平均 F1 提升。
arXiv · cs.CL 计算与语言精选AI 评分6565 研究揭示多语言后训练中的能力漂移：MATH 提升 36.07 分但 XQuAD-Indic 下降 19.32 F1
研究从同一监督检查点训练出两条 GRPO 分支，发现发布分支在 MATH 上提升 36.07 分，却在 XQuAD-Indic 上损失 19.32 F1，而 XQuAD-English 在同一评分规则下反而提升。
推荐理由：研究用同一监督检查点分出的两条 GRPO 分支，展示奖励提升与多语言能力退化如何同时发生，并给出分数拆解。
Nature Communications精选AI 评分6262 UniRG：用多模态强化学习扩展医学影像报告生成
研究人员提出 UniRG，一个面向医学影像报告生成的强化学习框架，通过优化与临床对齐的复合奖励来训练模型。UniRG 在性能上超过此前的模型，并在未见过的医院和数据集上表现出较强的泛化能力。论文发表于 Nature Communications（doi:10.1038/s41467-026-78767-4）。
推荐理由：论文提出面向医学影像报告生成的强化学习框架，用临床对齐的复合奖励优化，并在跨医院与跨数据集上检验泛化。
Science Robotics精选AI 评分6060 Science Robotics 论文：用学习型动态控制实现滑移转向装载机的高动态动作
Marco Hutter 等人（含 Vladlen Koltun、Matthias Müller）在 Science Robotics 第 11 卷第 120 期发表论文，研究滑移转向装载机的学习型动态控制。该工作以重型工程机械为对象，探索让装载机完成高动态动作的控制方法；目前仅有摘要信息，具体方法与实验数据尚未公开。
推荐理由：论文聚焦滑移转向装载机的高动态控制，读者可了解学习型方法在重型工程机械上的应用思路。
arXiv · cs.RO精选AI 评分7171 When2Go：共享意图的协同端到端自动驾驶系统在三个 CARLA 闭环基准上取得 SOTA
作者提出协同端到端驾驶系统 When2Go，让车辆在 CDA Class B 及以上共享意图而非仅共享感知，通过 route-time conflict map 与 order gate 决定通行顺序。
推荐理由：论文把协同驾驶从状态共享推进到意图共享，并给出三个闭环 CARLA 基准的对比结果，可据此判断该路线的收益。
arXiv · cs.RO精选AI 评分6262 ExRL：通过控制执行长度实现长动作块策略的样本高效在线适配
作者提出 ExRL，把长动作块策略的强化学习适配从优化动作改为优化每个预测动作块的执行长度，用一个轻量 adapter 预测执行长度并以 off-policy RL 训练。作者指出，直接优化高维动作块需要大量在线样本，而执行长度空间维度低、表达能力随块大小增长。在仿真基准和真实机器人任务上，ExRL 以较少的任务特定超参数调优实现了多种长动作块策略的样本高效适配。
推荐理由：针对长动作块策略在线适配样本开销大的问题，作者把优化对象从动作改为执行长度，读者可据此判断这一降维思路的迁移空间。
arXiv · cs.AI 人工智能精选AI 评分6262 研究用内在动机构建世界模型，比较 24 种内在目标与三种表征学习策略
研究将 24 种内在动机目标（涵盖好奇心、熵与胜任力）整合进统一的基于模型的强化学习框架，并在移动、操作与开放式游戏环境中用零样本、少样本和多任务控制评估所构建的世界模型。结果显示，好奇心驱动探索配合观测重建在整体上表现最强，但最佳单项组合因实验而异；在组合式视觉任务中，结合情景新颖性与终身新颖性的内在动机取得最佳零样本迁移与少样本适应。作者据此主张将内在动机设计与表征学习联合考虑。
推荐理由：论文把 24 种内在动机目标放进同一基于模型的强化学习框架，比较不同表征学习策略对下游控制的影响。
arXiv · cs.CV精选AI 评分7272 GTAGym 发布 GTA V 任务评测基准 GTAVBench 与强化学习环境
作者提出 GTAGym，一个面向 GTA V 任务的评测与强化学习环境，其基准 GTAVBench 由 GTA V 主线任务重建出 9 类共 103 个在线任务，另有 47 个基于图像的射击与狙击任务，通过截图和键鼠动作并行测试并自动校验引擎状态结果。
推荐理由：该工作把 GTA V 主线任务做成可自动校验的评测与 RL 环境，并给出前沿 LLM 的失败分布与 LoRA RL 迁移结果。
arXiv · cs.RO精选AI 评分6060 少样本残差适配让冻结的预训练潜在世界模型适应物理动态变化
研究提出一种少样本残差适配方法，从潜在预测误差中自监督学习修正项，同时作用于潜在预测器内部和其输出的潜在状态，预训练世界模型保持冻结。在仿真与真实机器人上，质心偏移和摩擦变化会使冻结模型成功率降至接近零，而用三个交互回合适配后，双位置修正方案在真实机器人上分别恢复到 90% 和 100% 成功率，消融实验显示双位置修正优于单点适配。
推荐理由：论文给出冻结预训练世界模型下的少样本残差适配方案，并在真实机器人上验证物理参数漂移后的恢复效果。
arXiv · cs.RO精选AI 评分6060 RoboACE：面向机器人自我改进的对抗式协同演化框架
作者提出 RoboACE 框架，让课程与执行框架围绕冻结的基础模型交替协同演化，课程侧依据积累的能力证据提出挑战，执行侧给出可复用的修订。从少量 LIBERO 练习条件出发，冻结部署在四个 LIBERO 系列评测面板上优于所评估的控制器与智能体系统；在 LIBERO-PRO 上成功率达 74.0%，比初始部署高 15.0 个百分点，比其 VLA 控制器直接执行高 13.5 个百分点。
推荐理由：论文给出课程与执行框架交替共演的方法，并在 LIBERO 系列基准上给出与初始部署及 VLA 控制器的对比数字。
arXiv · stat.ML精选AI 评分7272 新论文提出后训练策略优化理论：覆盖坍塌与参考重置
作者从理论上分析语言模型后训练中的策略优化，提出以基座模型响应覆盖度为约束的 coverage-preserving 算法框架。研究指出 REINFORCE（PPO 与 GRPO 的基础）可能把最优响应的概率压到接近零，即使奖励在提升，这种覆盖坍塌会让收敛需要指数级步数，且精确梯度和对基座模型的 KL 正则都无法避免。
推荐理由：文章从理论上解释后训练中覆盖坍塌的成因，并给出参考重置与 APMD 框架的收敛保证，可供理解 PPO、GRPO 类算法的采样成本。
arXiv · cs.LG 机器学习精选AI 评分6262 FaST：按链式法则分解转移元组的离线强化学习合成数据方法
作者提出 FaST，用链式法则把转移元组分解为 state、action、dynamics、reward、terminal 五个阶段，各阶段用匹配其统计特性的估计器建模。
推荐理由：论文把离线强化学习的合成数据生成拆成五个可单独重采样的阶段，并给出与扩散基线相当的训练效果和生成速度对比。
arXiv · cs.LG 机器学习精选AI 评分6060 研究揭示跨提示共享如何在 RLVR 中同时抑制与放大奖励黑客
作者在可精确计算完整响应分布的小规模受控环境中研究 RLVR 与不完美验证器的交互，发现 KL 正则化最优点上 RLVR 只对已接受的回答集合重新加权而不改变其构成，因此黑客率被原样继承。
推荐理由：论文在可精确计算响应分布的小环境中拆解 RLVR 奖励黑客的来源，并给出验证器修补的取舍依据。
arXiv · cs.LG 机器学习精选AI 评分6060 Audited Gradients, Anchored Policies：基于模型的强化学习用于高效流场控制
作者提出对代理模型的动作梯度做审计，再据此拟合低维反馈律并初始化神经策略，用二次惩罚把策略约束在该反馈律附近。在四个测试案例上，所得控制器优于或持平无模型基线，高保真求解器交互次数减少 3 至 156 倍。
推荐理由：论文指出代理模型预测准确并不代表动作梯度可用，并给出审计加锚定策略的替代流程，读者可据此判断代理模型何时可信。
arXiv · cs.AI 人工智能精选AI 评分7272 Embodied Science Agent 提出三类可学习性框架，在废水处理实验中把透光率提升至 99.7%
研究团队提出 Embodied Science Agent（ESA），用 Digital Agent 的记忆推理与贝叶斯优化、Embodied Agent 的通用仪器控制以及统一接口，把计算推理与物理实验连成闭环。
推荐理由：论文把认知、实验与具身三类可学习性统一进一个智能体框架，并在真实废水处理实验中验证闭环。
arXiv · cs.CL 计算与语言精选AI 评分7878 等算力协议下重估 GRPO 稠密奖励：Monte-Carlo 奖励在 Qwen2.5-1.5B 上反落后 14.3 个百分点
研究提出按生成 token 数与训练 GPU 小时对齐预算的 matched-compute 协议，在 6 个模型、1,668 次运行中重新比较 GRPO 与稠密过程奖励。
推荐理由：在等算力预算下重排稠密奖励与 GRPO 的优劣，为 RLVR 训练干预的评测方式提供可复现的对照协议。
Berkeley AI Research精选AI 评分6666 GRASP：面向世界模型长视野规划的梯度规划器
作者提出 GRASP，一种基于梯度的世界模型规划器，通过把轨迹提升为虚拟状态实现跨时间并行优化、对状态迭代加噪以探索，并绕开高维视觉模型中脆弱的 state-input 梯度。在 Push-T 上，H=60 时 GRASP 成功率为 26.2%，高于 CEM 的 7.2%、GD 的 16.4% 和 LatCo 的 2.0%；H=80 时仍保持 10.4%。论文见 arXiv:2602.00475。
推荐理由：作者自述 GRASP 的设计动机与消融思路，并给出 Push-T 上不同规划视野的对比数据，便于判断梯度规划在世界模型上的可行边界。