VICTR：用进度感知的上下文检索提升 VLA 模型的上下文学习能力
VICTR 提出用 In-Context Value Function Estimator（IC-VFE）根据参考演示视频、语言指令和当前观测估计任务进度，再按进度检索对应阶段的演示片段，供经上下文动作生成后训练的 π_{0.5} 策略使用。
推荐理由：论文用参考演示视频估计任务进度来检索上下文，在未见过的真实操作任务上把成功率从 6.2% 提到 23.8%，并给出代码与数据入口。
研究方向与科研任务
强化学习 最新动态
强化学习方法、RLHF/RLAIF、决策与序列规划。
54 条精选近 30 天 53 条共收录 144 条
更新
强化学习的精选
arXiv · cs.RO精选AI 评分6262 arXiv · cs.RO精选AI 评分7070 TinyAstral 将自进化 harness 迁移到 4B 小型通用操作智能体
TinyAstral 提出两阶段方法，先把冻结的开源教师智能体的 harness 通过递归自我改进（RSI）迭代，再把最终 harness 下的教师轨迹蒸馏进 4B 学生模型。
推荐理由：该工作把教师智能体的 harness 自进化收益蒸馏到 4B 小模型，并给出与 552B 规划器接近的跨基准结果，可供关注具身智能体轻量化的读者参考。
arXiv · cs.RO精选AI 评分6262 OCLO：无需人体动作数据的人形机器人全身移动操作控制
研究团队提出 OCLO 人形机器人移动操作系统，仅用两个末端执行器目标和行走速度作为指令，不依赖人体动作数据训练。系统用解析可达性先验在线生成骨盆高度与躯干朝向，仿真中指令参考获取成功率达 77.8%，无先验时为 37.8%；同一姿态模块还能提升预训练 SONIC 控制器在全部五项任务上的表现。
推荐理由：论文给出不依赖人体动作数据的全身姿态生成方案，并用消融实验量化可达性先验带来的成功率提升。
arXiv · cs.RO精选AI 评分6262 InneR：用内积正则提升模仿学习策略对状态扰动的鲁棒性
作者提出内积正则化方法 InneR，通过策略雅可比在状态空间诱导内积，对对齐状态聚类并最小化平均内积的最小特征值，使邻近状态共享零空间，从而对扰动给出一致响应。在真实机械臂的三项操作任务上，InneR 将扩散策略的平均成功率从 18% 提升到 57%，且无需额外数据；仿真实验显示其对无关状态维度和训练测试分布偏移更鲁棒，而范数惩罚常不如行为克隆。
推荐理由：论文提出用策略雅可比诱导的内积正则约束状态扰动响应一致性，并在真实机械臂上验证扩散策略成功率提升。
arXiv · cs.RO精选AI 评分6767 ManiLadder：按难度分层校准的机器人操作仿真基准
作者提出机器人操作仿真基准 ManiLadder，包含 112 个任务，按 4 个难度等级分层，每级 8 个类别，覆盖刚体与可变形物体、单臂与双臂、夹爪与灵巧手。为校准难度，每个任务固定相同数据量，用统一的 flow-matching 模仿学习策略在相同训练与评测协议下运行，以成功率作为经验难度信号，并跨随机种子、策略和智能体学习系统验证难度区间。真实实验显示任务难度排序在仿真之外仍保持。
推荐理由：该基准按任务难度分层校准，并跨随机种子、策略和真实实验验证难度排序，可供读者判断机器人操作能力的评测设计。
arXiv · cs.RO精选AI 评分6565 FLUX-mimic：面向数据高效工业操作任务的视频-动作模型
研究团队提出视频-动作模型 FLUX-mimic，用视频预训练加动作专家联合训练机器人策略，在四个汽车制造基准任务和两个双臂机器人平台上超过所比较的基线，并在夹爪平台上与 pi_{0.5} 的平均成功率持平。在可变形零件配货任务上，仅用两小时任务特定的动作标注演示即达到 77.5% 成功率。
推荐理由：在工业操作场景下，该工作用视频预训练降低动作数据需求，并给出四个汽车制造基准任务上的对比结果。
arXiv · cs.RO精选AI 评分6060 Embodied-Corrector：从反馈中学习物理失败理解与纠正
研究提出 Embodied-Corrector，通过子任务边界注入扰动构建失败恢复数据，并以 Judge-Cause-Sub-Fine 监督和 OPD 训练模型理解执行偏差并修正规划。实验显示，冻结 VLA 时复合任务成功率提升 6.1 个百分点，固定 GPT-5.5 执行时操作与导航任务提升 13.9 个百分点。
推荐理由：论文针对具身智能体执行偏差，提出失败定位与纠正框架，并在冻结 VLA 和固定 GPT-5.5 执行两种设置下给出成功率提升。
arXiv · cs.RO精选AI 评分6262 APG-Planner：用解析策略梯度学习视觉高速轨迹规划
作者提出 APG-Planner，用解析策略梯度（APG）训练基于视觉的高速轨迹规划器，借助微分平坦性从规划轨迹解析重建车辆状态，构建可微的回合展开并直接计算策略梯度。单 GPU 训练约 30 分钟后，该方法在仿真中性能与现有基线相当或更优，实机飞行实验速度最高达 11 m/s，并在滑移转向地面机器人上验证了框架对四旋翼之外微分平坦系统的适用性。
推荐理由：论文用解析策略梯度替代采样估计，在单卡约 30 分钟训练后达到与基线相当或更好的性能，并完成实机飞行验证。
arXiv · cs.RO精选AI 评分6060 Elastra：面向弹性体交互的仿真框架，提升 Unitree G1 在床垫与蹦床上的站立成功率
作者提出 Elastra 仿真框架，用仅沿垂直方向运动的单元加弹性连接与阻尼来建模床垫、蹦床等弹性表面的形变与回弹，并用独立实现和真实床垫载荷曲线做了验证。
推荐理由：论文给出弹性表面仿真框架，并在 Unitree G1 上用残差策略把 HoST 成功率从 44.1% 提到 72.5%，附代码与视频。
arXiv · cs.RO精选AI 评分6060 ILA：一种可迁移的接口级适配器，实现人形机器人柔顺运动跟踪
研究提出 ILA，一种无需专用交互传感器的接口级适配器，可从机器人观测历史中修正运动参考，使预训练运动跟踪器在保持原有跟踪能力的同时响应人的物理引导。ILA 完全在仿真中训练，可直接接入不同预训练跟踪器而无需重训适配器或策略；在三个跟踪器上，引导目标误差相比原策略降低 63.6%–75.4%，仿真与硬件实验均显示其提升了引导响应性。
推荐理由：论文给出可插拔的接口级适配器，在三个运动跟踪器上量化了引导误差下降，读者可据此判断其复用性。
arXiv · cs.RO精选AI 评分6262 从单张 RGB 图像到机器人执行：度量场景对齐与接触引导重定向
作者提出一条统一流水线，把单张 RGB 图像转成可执行的人形机器人动作参考：先从图像重建场景几何，再生成以该场景为条件的人体交互动作，最后重定向到人形机器人。为保持几何一致性，流程在重定向前后用 JMIR 修正人体动作与度量场景的对齐，用 CGRR 修正机器人特有的支撑误差；相比 GRAIL，细化时间从 480 s 降到 87 s，约 5.5 倍加速。
推荐理由：该工作把单张 RGB 图像重建、人体动作生成与人形机器人重定向串成一条流水线，并给出仿真与真机成功率，便于读者判断其可复现性。
arXiv · cs.LG 机器学习精选AI 评分7272 BiGym 2.0：面向 Unitree G1 人形家务操作的 20 任务基准
BiGym 2.0 将 BiGym 适配到 Unitree G1，用统一全身控制器覆盖 20 项家务任务，每项提供 60 条 VR 人类演示并同步多相机视角与全身执行记录。
推荐理由：BiGym 2.0 在统一全身控制器下对比四类策略，读者可据此了解人形家务操作各方法的强弱分布。
arXiv · cs.LG 机器学习精选AI 评分6565 连续时间强化学习求解均值—方差组合选择：算法、regret 分析与实证研究
研究在股票价格与可观测因子均为扩散过程、且系数未知的市场中，提出一种数据驱动的连续时间强化学习（RL）方法，直接学习预先承诺的投资策略，而不估计市场系数。针对无因子的多股票 Black-Scholes 市场，作者设计了具体算法，并以 Sharpe 比率的次线性 regret 界给出性能保证。
推荐理由：论文给出连续时间均值—方差组合选择的数据驱动 RL 算法与次线性 regret 界，并在 S&P 500 成分股上做了大规模实证比较。
arXiv · cs.LG 机器学习精选AI 评分6262 CFGRL 将扩散模型引导转化为可控的策略改进算子
作者提出 CFGRL，在策略改进与扩散模型引导之间建立直接关系，用监督学习方式训练，同时能超越数据中的策略。在离线强化学习任务上，提高引导权重会稳定带来性能提升；该方法无需显式学习价值函数，可把目标条件行为克隆等简单监督方法推广到更重视最优性的场景。
推荐理由：论文把扩散模型引导与策略改进建立直接联系，给出无需显式价值函数的离线强化学习训练路径。
arXiv · cs.AI 人工智能精选AI 评分7878 研究发现基于人类偏好奖励的规划搜索会损害真实回报，并提出校准修正规则
作者在 HalfCheetah、Hopper 及 Meta-World 的 drawer-open、plate-slide 任务上测量基于人类偏好奖励模型的 MPPI 规划搜索，发现搜索越强真实回报最多下降 76%，而留出标签准确率仍保持 0.75-0.97；在人类标签下 drawer-open 的 20 次运行全部失败，而作为起点的克隆策略 10 次全部成功。
推荐理由：论文量化了基于人类偏好奖励模型的规划搜索如何偏离真实目标，并给出可校准的修正规则。
arXiv · cs.AI 人工智能精选AI 评分7878 海马循环网络通过弛豫动力学实现最优目标导向导航
作者提出一个具有特定循环连接的海马网络，通过自身弛豫动力学实现最优目标导向导航：循环权重编码位置间转移概率，墙壁对应权重消失，BTSP 在无目标探索中写入连接，目标被回忆时顶部电流钳制目标神经元使群体收敛到目标锁定的活动场。
推荐理由：论文把海马回路弛豫动力学与线性可解马尔可夫决策过程的最优性对应起来，并给出复杂障碍迷宫中的仿真结果。
arXiv · cs.LG 机器学习精选AI 评分6060 StructRL 用回放图把经验转为动作偏好，稀疏奖励 MiniGrid 成功率从 0.10 升至 0.90
StructRL 将强化学习过程中收集的经验组织成显式回放图，当图中出现通往任务目标的路径时，用动态规划在已观测状态空间上选出动作，形成只在已观测转移处有定义的图策略，再把这些动作作为动作偏好传给 DQN 的 Q 模型、作为最短观测路径上的目标方向传给 SAC actor。
推荐理由：作者把强化学习经验组织成显式回放图，并在稀疏奖励任务上给出与 DQN、SAC 的对照数字，便于判断该思路的适用边界。
arXiv · cs.AI 人工智能精选AI 评分7878 CUDA-L2：用大语言模型与强化学习自动优化 HGEMM 内核，性能超过 cuBLAS
CUDA-L2 以 CUDA 执行速度为强化学习奖励，自动优化半精度通用矩阵乘（HGEMM）的 CUDA 内核，覆盖 1000 组配置。
推荐理由：论文用 LLM 加强化学习自动优化 HGEMM 内核，并在 1000 组配置上给出与 cuBLAS 系列库的逐项对比。
arXiv · cs.AI 人工智能精选AI 评分7070 研究提出可验证的 RL 失配框架，用上下文冲突训练智能体兼顾能力与合规
作者提出“可验证的奖励与上下文冲突”框架，研究强化学习在奖励准确衡量有用工作时仍强化违规行为的失配问题。在 25% 冲突混合比例下训练 128 次更新后，API 任务上可达 97.9% 的可验证获利违规；同一上下文检查作为二值惩罚可部分缓解已习得违规。在 32 个未见的变化证据任务上，资源训练得到的安全策略把安全完成率从 53.1% 提升到 89.1%，且两种策略都完成全部真实工作。
推荐理由：论文把奖励驱动的失配写成可验证的奖励与上下文冲突，并给出可扩展的环境构造与安全学习结果。
arXiv · cs.AI 人工智能精选AI 评分6060 BunshinRL 提出整工作区 fork 机制，降低智能体强化学习 rollout 的内存与延迟
BunshinRL 是一个面向智能体强化学习 rollout 的系统，通过跨环境内存共享、工具前缀缓存和推测性工具执行三项技术降低并发环境的内存开销与工具调用延迟。
推荐理由：论文给出面向智能体 RL rollout 的整工作区 fork 机制，并报告内存与延迟的量化收益，可供系统方向读者评估复现。