Blueprint2CAD 基准发布:评测视觉模型能否匹配工程图与 CAD 渲染图
研究团队提出 Blueprint2CAD 基准,用于判断正交线工程图与另一视角的着色渲染图是否对应同一零件,其数据层 BlueCAD-30K 基于 29,925 个 Zero-to-CAD 模型生成六视角图纸与渲染。
推荐理由:该基准把视角变化与骨干网络的影响分开考察,并给出冻结编码器和零样本 VLM 的具体表现,便于读者判断工程图检索任务的真实难点。
研究团队提出 Blueprint2CAD 基准,用于判断正交线工程图与另一视角的着色渲染图是否对应同一零件,其数据层 BlueCAD-30K 基于 29,925 个 Zero-to-CAD 模型生成六视角图纸与渲染。
推荐理由:该基准把视角变化与骨干网络的影响分开考察,并给出冻结编码器和零样本 VLM 的具体表现,便于读者判断工程图检索任务的真实难点。
作者发布 VulSpot 漏洞基准,包含来自 24k 个已登记 CVE 的 50 多万个函数、覆盖 21 种语言,其中 C/C++ 漏洞函数超过 15k 个。该基准通过把补丁新增代码与其保护的既有语句关联,在以往基于 diff 的数据集未给出位置的函数中,有 99.3% 定位到了漏洞;同时提供标签可靠性说明、无泄漏划分、补充代码上下文和分层 CWE 标签,并由自动化流水线每月刷新。
推荐理由:针对现有漏洞数据集不刷新、标签噪声大、随机划分泄漏的问题,VulSpot 给出可月度更新的定位型基准。
VICTR 提出用 In-Context Value Function Estimator(IC-VFE)根据参考演示视频、语言指令和当前观测估计任务进度,再按进度检索对应阶段的演示片段,供经上下文动作生成后训练的 π_{0.5} 策略使用。
推荐理由:论文用参考演示视频估计任务进度来检索上下文,在未见过的真实操作任务上把成功率从 6.2% 提到 23.8%,并给出代码与数据入口。
研究团队发布 Fog-FWL 数据集,包含 7,527 帧真实雾天全波形 LiDAR 数据(Fog-FWL-Real,来自 8 个场景、58 个序列,规模是现有唯一真实雾天 FWL 数据的 579 倍)和 12,000 帧物理仿真数据(Fog-FWL-Sim)。
推荐理由:该数据集同时提供真实雾天全波形基准与物理仿真训练集,并支持严格的 sim-to-real 评测,便于读者判断雾天目标恢复任务的难度与数据缺口。
Sprint3D 从公开的 Pixal3D 图像到 3D 流水线出发做端到端加速,在单张 H200 GPU、相同导出设置下把每个资产的中位耗时从 133 秒降到 4.05 秒(33 倍)。
推荐理由:作者对公开 Pixal3D 流水线做性能剖析,指出瓶颈在 CPU 后处理,并给出可迁移的 GPU 化与蒸馏方案。
OneSteer 是一个单步扩散全身控制器,把通用运动跟踪与测试时选择性转向结合起来:冻结生成器权重,用可微任务代价优化输入噪声,并用身体分组参考掩码放宽部分跟踪要求。
推荐理由:论文给出单步扩散全身控制器,在仿真与 Unitree G1 实机上验证通用运动跟踪与测试时转向,并附项目页。
作者发布 Robo-SWE 数据集,从 28 个公开机器人仓库的已合并 PR 中挖掘出 236 个可执行 issue 解决任务,覆盖 ROS 2 系统、仿真与物理引擎、机器人算法库和机器人学习框架四类。
推荐理由:该数据集把机器人软件的真实 issue 与可执行测试打包,并附多套编码智能体的解题记录,便于比较领域专用评测与通用评测的差异。
作者提出 NSDL,让小型视觉语言模型只判断场景状态与任务分工并写成计划草图,再由确定性求解器展开为可执行的联合计划,模型在训练中调用检测器与求解器两个工具。
推荐理由:论文把多机器人任务规划拆成视觉判断与确定性求解两部分,并在两个基准上对比端到端方案,还开源了代码与基准。
研究团队提出 CaseScope,一个要求模型综合同一病灶多个视野进行诊断的病理基准,包含 CaseScope-Teaching 的 436 例和 CaseScope-Atlas 的 800 例,覆盖 18 个器官系统的 843 个实体、共 4,679 道题。
推荐理由:该基准用多视野病理诊断和十选项轮换评测,揭示开源与专有 MLLM 在诊断稳定性上的明显差距。
研究团队提出 Scalable Inverse Model(SIM)框架,将物理仿真训练数据、模型架构与学习范式围绕可扩展性协同设计,以算力扩展替代真实临床数据积累,实现稳健的零样本 MRI 重建。
推荐理由:论文用物理仿真数据替代真实临床数据,在 14 个跨中心、跨厂商数据集上验证零样本 MRI 重建的泛化能力。
作者提出机器人操作仿真基准 ManiLadder,包含 112 个任务,按 4 个难度等级分层,每级 8 个类别,覆盖刚体与可变形物体、单臂与双臂、夹爪与灵巧手。为校准难度,每个任务固定相同数据量,用统一的 flow-matching 模仿学习策略在相同训练与评测协议下运行,以成功率作为经验难度信号,并跨随机种子、策略和智能体学习系统验证难度区间。真实实验显示任务难度排序在仿真之外仍保持。
推荐理由:该基准按任务难度分层校准,并跨随机种子、策略和真实实验验证难度排序,可供读者判断机器人操作能力的评测设计。
研究团队发布 GigaSpeechBench,一个包含 690 小时人工标注语音的多语言、多维度真实场景 ASR 与 AST 基准。它分为五个模块:12 种中东和东南亚低资源语言加日语、韩语,6 种中文方言,6 种英语口音,中英文 12 个垂直领域的密集术语,以及老年人和儿童语音;并为 11 种语言提供人工标注的中英文翻译以支持 AST 评测。
推荐理由:该基准把低资源语言、方言、口音、术语和老人儿童语音放进同一评测,并显示主流模型与商业 API 在这些场景下明显退化。
研究团队提出 CineMME,一个经人工核验、约 1600 专家人时标注的叙事视频理解基准,包含 975 段短叙事视频和 CineMME-Grounding、CineMME-Reasoning 两条关联评测轨道。
推荐理由:CineMME 把对话定位、说话人绑定与叙事推理串成同一条证据链,其评测结果揭示当前多模态模型在 who-what-when 上的解耦。
作者提出开源三臂平台 ARTS,用于微创手术自主研究,全部采用可采购部件搭建,成本约 137,000 美元。平台用两台 UR5e 臂持 da Vinci X/Xi 腕式器械、一台 UR5 臂持双 FLIR 相机立体内窥镜,并配有独立于软件的硬件急停;ROS 2 软件固定依赖版本,可在裸机或容器中用同一脚本安装。
推荐理由:该平台用可采购部件搭建三臂手术自主研究系统,并给出延迟、重复精度与 dVRK 的对照数据,便于其他实验室评估复现成本。
作者提出 Elastra 仿真框架,用仅沿垂直方向运动的单元加弹性连接与阻尼来建模床垫、蹦床等弹性表面的形变与回弹,并用独立实现和真实床垫载荷曲线做了验证。
推荐理由:论文给出弹性表面仿真框架,并在 Unitree G1 上用残差策略把 HoST 成功率从 44.1% 提到 72.5%,附代码与视频。
作者提出生产部署的 VLA 服务系统 XInfer,通过协同调度异构 VLA 计算与机器人执行时变的响应需求,在管理干扰的同时利用计算并行提升 GPU 效率。在三个 VLA 模型和生产来源负载上,XInfer 在物理执行约束下的有效机器人容量(ERC)达到 SOTA 系统的 1.26–3.75 倍,实现已公开。
推荐理由:论文给出生产环境 VLA 服务系统的设计与三模型实测,读者可据此判断机器人集群推理调度的可行路径。
BiGym 2.0 将 BiGym 适配到 Unitree G1,用统一全身控制器覆盖 20 项家务任务,每项提供 60 条 VR 人类演示并同步多相机视角与全身执行记录。
推荐理由:BiGym 2.0 在统一全身控制器下对比四类策略,读者可据此了解人形家务操作各方法的强弱分布。
作者发布 TIDE(Turbulent Incompressible DNS Ensembles),一个 256^3 的 3D 不可压缩湍流 DNS 语料与基准,覆盖八个控制轴上的 15 种配置,提供独立集合、压力场和方程级验证。
推荐理由:该基准用独立集合与物理保真指标揭示点误差低不等于小尺度动力学正确,为科学机器学习评测提供可复现的对照。
研究团队提出 STRATA,这是首个面向全球风暴分辨率大气动力学的自回归 AI 模拟器,在 4.9-km 分辨率、约 2500 万网格单元、每 10 分钟采样的 SCREAM 物理模式输出上训练。
推荐理由:论文给出首个全球风暴分辨率的自回归 AI 模拟器,并公开代码、权重与数据,便于读者评估其能耗与分辨率取舍。
作者提出 FreeKnob 审计:在留出数据上拟合单调校准映射并分别应用于各系统,量化极端阈值下池化 CSI 差异中有多少可被校准消除。
推荐理由:作者用单调校准映射做对照,量化了极端阈值 CSI 差异中有多少来自振幅校准而非空间排序能力。