arXiv · cs.LG 机器学习· Ivo Nowak·2026-11-13 13:00· 4 小时前精选AI 评分60

StructRL 用回放图把经验转为动作偏好，稀疏奖励 MiniGrid 成功率从 0.10 升至 0.90

StructRL: Model-Free Reinforcement Learning with Replay Graphs

AI 导读

StructRL 将强化学习过程中收集的经验组织成显式回放图，当图中出现通往任务目标的路径时，用动态规划在已观测状态空间上选出动作，形成只在已观测转移处有定义的图策略，再把这些动作作为动作偏好传给 DQN 的 Q 模型、作为最短观测路径上的目标方向传给 SAC actor。

推荐理由

作者把强化学习经验组织成显式回放图，并在稀疏奖励任务上给出与 DQN、SAC 的对照数字，便于判断该思路的适用边界。