跳到正文
今天11月13日周五71 条
  1. arXiv · cs.CV72

    InstantHMR:可在手机端实时运行的 3D 人体网格恢复模型

    LAAS-GEPETTO 团队提出开源单图人体网格回归器 InstantHMR,基于 Momentum Human Rig(MHR)参数模型、仅用 SAM 3D Body 数据集的公开标注训练,在三星 Galaxy S23 NPU 上每人 5.5 ms 恢复 6,890 顶点人体网格,NVIDIA RTX 4070 上为 0.98 ms。

    推荐理由:作者开源了可在手机 NPU 上实时运行的 3D 人体网格回归器,并统一复现 11 个基线方法,便于读者判断移动端部署的取舍。

  2. arXiv · cs.RO58

    AVI-HT:面向 3D 手套手部跟踪的自适应视觉-IMU 融合方法

    作者提出 AVI-HT,将第一视角图像与手套上的 6-DoF IMU 信号联合建模,用于跟踪 3D 手部姿态,在遮挡严重的手-物交互场景中提升精度与可用性。方法包含同步采集的视觉-IMU 与动捕真值配对训练数据,以及跨传感器深度注意力机制,自适应调节对视觉和各 IMU 传感器的信任权重。

  3. arXiv · cs.CV78

    Ropedia Xperience 2 发布:1,589 个 3D 扫描与 4,230 段自我中心行为记录

    研究团队发布 Ropedia Xperience 2,包含 1,589 个已公开的米制尺度 3D 扫描,以及覆盖 74 项任务、共 131 小时的 4,230 段自我中心录制。

    推荐理由:该数据集同时提供环境扫描与人类行为演示,并给出转成机器人学习数据的流程,可供关注具身智能数据规模化的人参考。

  4. arXiv · cs.CV47

    EG360:用自适应全景-透视蒸馏与球面跨层特征融合实现高效可泛化的 360° 深度估计

    EG360 是一个高效可泛化的全景深度估计模型,基于轻量深度模型设计了几何引导的自适应全景-透视蒸馏(APPD)策略和球面跨层特征融合(SCFF)模块。重参数化后仅 6.593M 参数,在真实世界基准上取得强零样本性能,在 Jetson Orin NX 16GB 的 MAXN 模式下以 35 FPS 运行,而此前 ViT-small 模型不到 2 FPS。代码将公开。

  5. arXiv · cs.RO62

    VICTR:用进度感知的上下文检索提升 VLA 模型的上下文学习能力

    VICTR 提出用 In-Context Value Function Estimator(IC-VFE)根据参考演示视频、语言指令和当前观测估计任务进度,再按进度检索对应阶段的演示片段,供经上下文动作生成后训练的 π_{0.5} 策略使用。

    推荐理由:论文用参考演示视频估计任务进度来检索上下文,在未见过的真实操作任务上把成功率从 6.2% 提到 23.8%,并给出代码与数据入口。

  6. arXiv · cs.RO70

    TinyAstral 将自进化 harness 迁移到 4B 小型通用操作智能体

    TinyAstral 提出两阶段方法,先把冻结的开源教师智能体的 harness 通过递归自我改进(RSI)迭代,再把最终 harness 下的教师轨迹蒸馏进 4B 学生模型。

    推荐理由:该工作把教师智能体的 harness 自进化收益蒸馏到 4B 小模型,并给出与 552B 规划器接近的跨基准结果,可供关注具身智能体轻量化的读者参考。

  7. arXiv · cs.RO42

    面向自主腹腔镜控制的语义耦合感知框架

    该论文提出一种闭环自主腹腔镜控制框架,将实时手术阶段识别与相机运动补偿的视觉感知相耦合,利用手术实体间的阶段依赖关系提升遮挡与实体重叠下的目标状态估计。基准与体模实验显示,该框架在手术阶段识别、遮挡与实体重叠下的目标跟踪及自主视野控制上均优于固定视野控制,提升了目标可见性与任务执行效果。

  8. arXiv · cs.RO58

    Reading the Room:将稀疏 VSLAM 地图配准到部分建成楼层平面图

    作者提出 Reading the Room(RR),用统一的类别平衡语义几何能量函数贯穿全局初始化与局部优化,把尺度未知的稀疏 VSLAM 地图配准到部分建成的 2D 楼层平面图。在三个在建工地的 33 条序列上,其平均绝对轨迹误差在无约束设置下比最强基线降低 4.5 倍,提供锚点时提升到 7.6 倍。方法支持用户给出单个不精确对应点,或用跨模态匹配网络全局估计初始化。

  9. arXiv · cs.RO62

    OCLO:无需人体动作数据的人形机器人全身移动操作控制

    研究团队提出 OCLO 人形机器人移动操作系统,仅用两个末端执行器目标和行走速度作为指令,不依赖人体动作数据训练。系统用解析可达性先验在线生成骨盆高度与躯干朝向,仿真中指令参考获取成功率达 77.8%,无先验时为 37.8%;同一姿态模块还能提升预训练 SONIC 控制器在全部五项任务上的表现。

    推荐理由:论文给出不依赖人体动作数据的全身姿态生成方案,并用消融实验量化可达性先验带来的成功率提升。

  10. arXiv · cs.RO58

    CLASP:面向鲜食蓝莓的集群级自主选择性采摘机器人

    作者提出集群级自主选择性采摘机器人 CLASP,用两条柔性带包住果簇并滚动,按顺序摘下成熟果实,同时闭环调节拉力使其低于未成熟果实的脱离阈值。田间测量显示成熟与未成熟果实的脱离力存在明显分界,SARB-Gripper 对指令拉力的复现误差在 3.7% 以内;端到端田间试验中,CLASP 自主抓取 25 个果簇中的 23 个(92%),单台组件成本约 3326 美元。

  11. arXiv · cs.RO62

    InneR:用内积正则提升模仿学习策略对状态扰动的鲁棒性

    作者提出内积正则化方法 InneR,通过策略雅可比在状态空间诱导内积,对对齐状态聚类并最小化平均内积的最小特征值,使邻近状态共享零空间,从而对扰动给出一致响应。在真实机械臂的三项操作任务上,InneR 将扩散策略的平均成功率从 18% 提升到 57%,且无需额外数据;仿真实验显示其对无关状态维度和训练测试分布偏移更鲁棒,而范数惩罚常不如行为克隆。

    推荐理由:论文提出用策略雅可比诱导的内积正则约束状态扰动响应一致性,并在真实机械臂上验证扩散策略成功率提升。

  12. arXiv · cs.RO42

    通过注意力感知代价地图调优实现兼顾玩手机行人的安全高效导航

    研究提出注意力感知导航框架,用 3D 骨骼特征和 Random Forest 分类器实时判断行人是否分心,并对分心行人动态扩大代价地图安全边距以主动避让。12 名参与者、252 次试验的用户研究显示,该方法在感知平滑度(p = 0.003)和可预测性(p = 0.034)上显著优于仅 LiDAR 基线和仅轨迹预测方法,且不增加通行时间。

  13. arXiv · cs.RO78

    Reins:前沿多模态模型零样本驱动真实机械臂完成长程任务

    作者提出 Reins 框架,让现成的前沿多模态模型借助 3D 感知工具和可报告接触与抓取状态的原子动作,操作双臂机器人完成长程、接触密集的操作任务。在五个真实任务上,GPT-6.1 Sol 在自然语言提示、无任务专用代码的条件下成功率为 88%;不使用该框架时,它在所有 shell game 任务上均失败,耗时是前者的 8 倍。

    推荐理由:作者提出让前沿多模态模型通过工具与原子动作驱动双臂机器人的框架,并给出真实机器人长程任务的成功率对比。

  14. arXiv · cs.RO47

    机器人抓取的输入-输出表征:通过导纳将设计参数与抓取行为关联

    研究用小幅信号分析以导纳(负载扰动与物体位移间的传递矩阵)刻画抓取动态,该矩阵在零频率下给出刚度与稳定性,并捕捉时变负载下的固有频率与峰值增益。在比例-微分控制的平面双指夹爪上,同一物体、同一位置、同一接触力的两种抓取刚度可相差两个数量级,而刚度相同的抓取也可能呈现截然不同的共振。非线性仿真验证了该分析对抓取动态行为的有效性。

  15. arXiv · cs.RO67

    ManiLadder:按难度分层校准的机器人操作仿真基准

    作者提出机器人操作仿真基准 ManiLadder,包含 112 个任务,按 4 个难度等级分层,每级 8 个类别,覆盖刚体与可变形物体、单臂与双臂、夹爪与灵巧手。为校准难度,每个任务固定相同数据量,用统一的 flow-matching 模仿学习策略在相同训练与评测协议下运行,以成功率作为经验难度信号,并跨随机种子、策略和智能体学习系统验证难度区间。真实实验显示任务难度排序在仿真之外仍保持。

    推荐理由:该基准按任务难度分层校准,并跨随机种子、策略和真实实验验证难度排序,可供读者判断机器人操作能力的评测设计。

  16. arXiv · cs.RO58

    混合地形建模实现记忆高效的坍塌反应式撤退并行策略学习

    作者提出基于混合地形建模的记忆高效并行策略学习框架,用于训练机器人在支撑面坍塌时撤退的策略。该方法将不可坍塌地形用刚体仿真、可坍塌区域用虚拟接触力表示,并通过 State-Multiplexed Contact Model 共享地形几何与接触响应规律、保留各环境独立的坍塌状态,从而在不复制地形对象的情况下获得独立的状态-动作经验。

  17. arXiv · cs.RO78

    Alloy:面向机器人学习的多材料物理引擎

    作者提出开源物理引擎 Alloy,让刚性机器人、布料、缆线、液体、颗粒材料和软体共享同一场景,每个物体只描述一次,由引擎分配到适配求解器并在每个控制步内耦合。

    推荐理由:多材料统一场景的物理引擎,附吞吐、深度相机与千世界可靠性测试,并给出编码智能体冷启动实测。

  18. arXiv · cs.RO58

    PERA:为人形机器人全身控制插入可插拔专家模块

    PERA 通过冻结预训练混合专家策略、仅新增任务专家及其路由分数来学习新技能,在 Unitree G1 仿真中每个新增任务模块约占基础 actor 参数的 1.03%,成功完成全部十项新任务。关闭专家后基础策略仍能完整执行原有的 126 个动作,开启专家还能改善部分未参与该专家训练的舞蹈动作;在 HoloMotion 上的实验显示该方法可适配不同基础策略。

  19. arXiv · cs.RO65

    FLUX-mimic:面向数据高效工业操作任务的视频-动作模型

    研究团队提出视频-动作模型 FLUX-mimic,用视频预训练加动作专家联合训练机器人策略,在四个汽车制造基准任务和两个双臂机器人平台上超过所比较的基线,并在夹爪平台上与 pi_{0.5} 的平均成功率持平。在可变形零件配货任务上,仅用两小时任务特定的动作标注演示即达到 77.5% 成功率。

    推荐理由:在工业操作场景下,该工作用视频预训练降低动作数据需求,并给出四个汽车制造基准任务上的对比结果。

  20. arXiv · cs.RO50

    MOSAIC:面向杂乱场景操作的模块化障碍与空间感知框架

    研究者提出 MOSAIC,一个可接入预训练 VLA 策略的模块化空间与障碍感知框架,通过预测目标物体、目标区域和周围障碍的角色专属掩码,并结合 3D 场景重建深度生成几何 token 注入动作专家。在 RoboPRO 基准上,MOSAIC 使杂乱场景成功率提升 5.1%,视觉扰动下提升 9.7%,最困难环境提升达 25.0%。

  21. arXiv · cs.CV62

    RSLiveBench-UAV:面向航空空间智能的持续演进视觉语言基准

    作者提出 RSLiveBench-UAV,一个由持续采集真实无人机影像驱动的视觉语言基准,采用只收录上一版本发布后拍摄图像并延迟公布答案的更新协议。基准包含来自10个场景的35,491条问题记录、覆盖2D感知、3D感知、跨视角感知与推理共17项任务,全部使用确定性评分而非模型评判。

    推荐理由:该基准用持续采集的真实无人机影像更新题目,并给出30个模型的横向评测结果,可供读者判断航空空间智能的评测现状。

  22. arXiv · cs.RO60

    Embodied-Corrector:从反馈中学习物理失败理解与纠正

    研究提出 Embodied-Corrector,通过子任务边界注入扰动构建失败恢复数据,并以 Judge-Cause-Sub-Fine 监督和 OPD 训练模型理解执行偏差并修正规划。实验显示,冻结 VLA 时复合任务成功率提升 6.1 个百分点,固定 GPT-5.5 执行时操作与导航任务提升 13.9 个百分点。

    推荐理由:论文针对具身智能体执行偏差,提出失败定位与纠正框架,并在冻结 VLA 和固定 GPT-5.5 执行两种设置下给出成功率提升。

  23. arXiv · cs.RO42

    Helping Hand:用于单通道内镜黏膜下剥离术组织牵引的连续体机器人抓取器

    研究提出 Helping Hand 两段式连续体机器人抓取器,与电外科刀配合,可在单个 3.7 mm 工作通道内完成组织牵引与切割。其做法是在抓取器基座开槽,让电外科刀从同一器械腔伸出,实现对抗牵引与切割。团队评估了其工作空间与不同起始构型下的牵引力,并在离体鸡腿中完成组织分离与切除的完整流程演示。

  24. arXiv · cs.CV42

    HeadIO:面向头戴设备的体坐标系航向分解神经惯性里程计

    HeadIO 将体坐标系航向分解与双向 Mamba 主干结合,用于头戴设备惯性里程计,仅用设备姿态中的倾斜分量分离重力对齐与水平分量,实现倾斜不变性。在最大基准数据集 Nymeria 上,其 RTE-5s 较采用学习等变层的世界坐标系方法提升 8.1%(0.260 m → 0.239 m),FLOPs 约为后者 1/3、参数量少 8 倍。

  25. arXiv · cs.RO58

    GenGenIK:用条件流生成模型统一求解广义逆运动学

    作者提出生成式建模方法 GenGenIK,把逆运动学从单次位姿到构型的求解扩展为对有效构型分布的采样,统一支持移动底盘、多末端执行器与多目标、场景感知以及机器人行为偏好。在双臂举升与翻转等任务上,GenGenIK 的求解率和运行时间均优于现有方法,并能灵活控制采样分布,在部分场景观测下仍然有效。项目页见论文中的链接。

  26. arXiv · cs.RO47

    通过刚性机械臂运动驱动与控制被动腱驱动软体延伸机构

    研究提出用机械臂关节运动驱动被动腱驱动软体延伸机构,机械臂移动时锚定在上游连杆的腱外段长度变化,从而改变腱张力并使延伸机构变形。团队开发的控制器可在保持末端执行器约束的同时调节软体末端,差分模型将刚性运输与软变形分离,并结合解析臂与腱运动学及局部辨识的跨度-变形映射。仿真与真实实验在自由、位置约束和支点约束的末端运动下实现了末端与形状调节。

  27. arXiv · cs.RO47

    Bind-WAM:用绑定不确定性引导世界动作模型的选择性未来想象

    研究者提出 Bind-WAM,一种以语言-物体绑定不确定性为信号、选择性触发未来视觉与动作联合生成的世界动作模型(WAM)。该方法用完整演示离线标注任务相关物体并检测参考错配、不可见与身份漂移,再以伪标签训练轻量路由器从当前观测和语言指令预测绑定不确定性。仿真与真实实验显示,绑定不确定性可作为选择未来想象时机的强且可解释信号。

  28. arXiv · cs.RO58

    Latent Filter++ 通过机器人勺取与力-力矩传感实现颗粒材料交互感知

    研究提出交互感知框架 Latent Filter++,从机器人勺取时的力-力矩测量中推断颗粒材料属性,结合仿生频时滤波器组表示与因果隐动力学模型,无需手工信号预处理。在 26 种颗粒材料上评估,方法可泛化到训练集之外的材料,并能用少量额外交互样本实现属性映射的少样本适配;推断属性与材料在运输中不从勺中洒落所能承受的最大加速度相关。

  29. arXiv · cs.RO60

    BiPOP:用 LLM 结合时序偏序规划实现长程双臂机器人操作

    作者提出 BiPOP 框架,将 LLM 与时序偏序规划结合用于长程双臂机器人操作:LLM 把自然语言指令转成 PDDL 规格,时序规划器按双臂可达性划分工作空间并处理臂间依赖、任务分配与同步约束,从而调度可并行动作。

    推荐理由:论文把双臂长程操作的时空协调交给符号规划器,并用失败分析说明纯 LLM 规划器的约束违反问题。