跳到正文

研究方向与科研任务

评测与基准 最新动态

新基准、评测方法、数据集与 leaderboard 变化。

224 条精选近 30 天 220 条共收录 594 条

更新

评测与基准的精选

今天11月13日周五第 1–20 条
  1. arXiv · cs.DB75

    PQR-Search 为动态向量数据库的近似最近邻检索提供逐查询召回保证

    作者提出 k-ANN 算子 PQR-Search,对每个查询保证 Pr[Recall(q) < τ] ≤ δ,且 τ<1 时 E[Recall(q)] ≥ τ,该概率只来自索引内的随机旋转,插入删除后无需重新调参。

    推荐理由:针对 ANN 索引只调平均召回的问题,给出逐查询召回保证并量化其相对 HNSW 的延迟与吞吐代价。

  2. arXiv · cs.CV60

    研究在碰撞检测任务上评测连接组约束的果蝇视觉模型 FlyNet 的鲁棒性与效率

    研究者在可微 3D 渲染管线中的碰撞检测任务上,将受突触连接组约束的连续时间循环网络 FlyNet 与 CNN、RAFT 及无连接组约束的 sCTRNN、CTRNN 对比。

    推荐理由:论文把果蝇连接组约束模型与 CNN、RAFT 放在同一碰撞检测任务上比较鲁棒性与算力,并给出对抗纹理与视错觉同源的机制解释。

  3. arXiv · cs.CV72

    DisasterVLG 发布 124 万张灾害图像多任务数据集,覆盖视觉定位与证据式推理

    研究团队构建 DisasterVLG 大规模多任务数据集,包含来自 142 个国家的 124 万张灾害图像和 3300 万条结构化标注,覆盖密集描述与定位、事件评估、关系场景描述和灾害视觉问答(VQA)。

    推荐理由:该数据集把灾害场景的视觉定位与证据式问答统一起来,并给出人工核验测试集,便于评估模型在真实不确定性下的推理能力。

  4. arXiv · cs.CV60

    Blueprint2CAD 基准发布:评测视觉模型能否匹配工程图与 CAD 渲染图

    研究团队提出 Blueprint2CAD 基准,用于判断正交线工程图与另一视角的着色渲染图是否对应同一零件,其数据层 BlueCAD-30K 基于 29,925 个 Zero-to-CAD 模型生成六视角图纸与渲染。

    推荐理由:该基准把视角变化与骨干网络的影响分开考察,并给出冻结编码器和零样本 VLM 的具体表现,便于读者判断工程图检索任务的真实难点。

  5. arXiv · cs.CV72

    MMEarth-Bench:面向全球地球观测的多模态测试时训练基准

    作者提出 MMEarth-Bench,包含五个环境任务、12 种模态和全球分布数据,并提供随机与地理两种测试划分。基准测试显示多模态预训练在少标注下更稳健,但地理泛化仍较差,数据充足时随机初始化的多模态模型也具竞争力。作者进一步提出模型无关的 TTT-MMR 方法,在测试时用全部可用模态做重建辅助任务,在两个划分上均提升各模型表现,数据集、代码与可视化工具见项目页。

    推荐理由:材料给出五个新任务、12 种模态和地理切分,并指出地理泛化仍是短板,读者可据此判断多模态地球观测模型的真实能力边界。

  6. arXiv · cs.CV78

    Ropedia Xperience 2 发布:1,589 个 3D 扫描与 4,230 段自我中心行为记录

    研究团队发布 Ropedia Xperience 2,包含 1,589 个已公开的米制尺度 3D 扫描,以及覆盖 74 项任务、共 131 小时的 4,230 段自我中心录制。

    推荐理由:该数据集同时提供环境扫描与人类行为演示,并给出转成机器人学习数据的流程,可供关注具身智能数据规模化的人参考。

  7. arXiv · cs.CV70

    Kosmo-GFM:面向生产场景的几何基础模型与位姿优化系统

    研究团队提出场景重建系统 Kosmo-GFM,整合几何基础模型 GFM、位姿优化引擎 PoseEngine 与 KosmoWorld 的重建监督。在 SpatialBench 的 Sparse 和 Medium 子集上,GFM 取得最低绝对相对深度误差和 5 度阈值下最高相对位姿 AUC,并在五个数据集上取得最低动态点与场景流平均端点误差。

    推荐理由:原文给出几何基础模型与位姿优化引擎的完整系统设计,并在 SpatialBench 等基准上给出与 GLUEMAP 的精度和运行时间对比。

  8. arXiv · cs.SE66

    Oracle-to-PostgreSQL 迁移智能体是否真在学习?一项带审计的评测

    研究团队对 Oracle-to-PostgreSQL 迁移智能体的经验记忆做了审计式评测:在 1,833 对文档来源参考上,持久记忆把参考一致性(RC)比无记忆基线提高 0.015 [0.004。

    推荐理由:通过审计式评测拆解记忆增益中的参考泄漏与复制效应,并给出六条区分跨任务学习与指标假象的评测规则。

  9. arXiv · cs.CV75

    Fog-FWL:用于恢复雾中隐藏目标的大规模全波形 LiDAR 数据集

    研究团队发布 Fog-FWL 数据集,包含 7,527 帧真实雾天全波形 LiDAR 数据(Fog-FWL-Real,来自 8 个场景、58 个序列,规模是现有唯一真实雾天 FWL 数据的 579 倍)和 12,000 帧物理仿真数据(Fog-FWL-Sim)。

    推荐理由:该数据集同时提供真实雾天全波形基准与物理仿真训练集,并支持严格的 sim-to-real 评测,便于读者判断雾天目标恢复任务的难度与数据缺口。

  10. arXiv · cs.CV68

    Pl@ntNet 推出机器对机器植物识别 API 服务,覆盖 85,000 种植物

    Pl@ntNet 团队发布机器对机器 AI 植物识别服务,通过 API 以程序化方式调用其识别模型与分类学处理,覆盖全球 85,000 种植物,物种预测准确率为 0.89,处理速度最高可达需人工介入流程的 666 倍。

    推荐理由:论文给出覆盖 85,000 种植物的 API 识别服务,并附可复现示例,便于读者评估其接入自动化监测流程的可行性。

  11. arXiv · cs.CV60

    RipBench:统一评测裂流检测、分类与分割的多层级基准

    研究团队提出 RipBench,一个在统一数据与标准化划分下评测裂流分类、轴对齐与旋转目标检测以及实例、语义、全景分割的基准。基于 304 段视频(303,491 帧,其中 51,011 帧标注了全部六项任务),帧级分类达到 F2 = 0.93,而最佳检测器和最佳实例分割器分别只有 0.72 和 0.66,且模型排名随任务变化。

    推荐理由:该基准在同一数据与划分下统一评测六项裂流任务,暴露出粗粒度识别与精细空间理解之间的性能落差。

  12. arXiv · cs.RO78

    Reins:前沿多模态模型零样本驱动真实机械臂完成长程任务

    作者提出 Reins 框架,让现成的前沿多模态模型借助 3D 感知工具和可报告接触与抓取状态的原子动作,操作双臂机器人完成长程、接触密集的操作任务。在五个真实任务上,GPT-6.1 Sol 在自然语言提示、无任务专用代码的条件下成功率为 88%;不使用该框架时,它在所有 shell game 任务上均失败,耗时是前者的 8 倍。

    推荐理由:作者提出让前沿多模态模型通过工具与原子动作驱动双臂机器人的框架,并给出真实机器人长程任务的成功率对比。

  13. arXiv · cs.RO67

    ManiLadder:按难度分层校准的机器人操作仿真基准

    作者提出机器人操作仿真基准 ManiLadder,包含 112 个任务,按 4 个难度等级分层,每级 8 个类别,覆盖刚体与可变形物体、单臂与双臂、夹爪与灵巧手。为校准难度,每个任务固定相同数据量,用统一的 flow-matching 模仿学习策略在相同训练与评测协议下运行,以成功率作为经验难度信号,并跨随机种子、策略和智能体学习系统验证难度区间。真实实验显示任务难度排序在仿真之外仍保持。

    推荐理由:该基准按任务难度分层校准,并跨随机种子、策略和真实实验验证难度排序,可供读者判断机器人操作能力的评测设计。

  14. arXiv · cs.CV67

    研究发现驾驶世界模型只移动相机而非场景,并提出 ReTime-Compose 免训练修正

    作者用真实驾驶日志的重定时与立体视角构造反事实参考,发现已发布驾驶世界模型对场景变化的复现比例最多约为真实视频的三分之一,轨迹分数也无法区分速度指令被执行还是被忽略。

    推荐理由:论文用真实驾驶日志构造反事实参考,指出驾驶世界模型只动相机不动场景,并给出免训练修正方案。

  15. arXiv · cs.CV62

    SAVE:智能体视频推理中更简单的框架反而更有效

    研究者在 Gemini 3 Flash 和 Gemma 4 两个骨干上对多种智能体视频推理框架做受控评测并核算 token 与成本,发现多数现有框架未能稳定优于原生视频推理且常增加开销。

    推荐理由:在统一骨干与成本核算下比较多种智能体视频推理框架,并给出更简单的 SAVE 方案,便于判断复杂度是否值得。

  16. arXiv · cs.CV62

    RSLiveBench-UAV:面向航空空间智能的持续演进视觉语言基准

    作者提出 RSLiveBench-UAV,一个由持续采集真实无人机影像驱动的视觉语言基准,采用只收录上一版本发布后拍摄图像并延迟公布答案的更新协议。基准包含来自10个场景的35,491条问题记录、覆盖2D感知、3D感知、跨视角感知与推理共17项任务,全部使用确定性评分而非模型评判。

    推荐理由:该基准用持续采集的真实无人机影像更新题目,并给出30个模型的横向评测结果,可供读者判断航空空间智能的评测现状。

  17. arXiv · cs.CV74

    RPG 基准:AI 篡改视频检测器在真实部署条件下表现如何

    研究团队提出 Reality Perception Gap(RPG)基准,包含 1 万段来自前沿生成器和部分合成编辑的视频,并经过跨平台转发压缩处理,同时搭配带有相机端光学伪影的真实素材。在 18 个检测器上,当误报率为 1% 时,没有一个检测器能识别出超过 15% 的伪造视频。对照实验和重编码扫描显示,生成器与内容偏移在压缩前就已削弱检测能力,而转发压缩会抹掉基于伪影的检测器所依赖的低层痕迹。

    推荐理由:该基准把转发压缩与硬件伪影纳入评测,18 个检测器在 1% 误报率下漏检率极高,为视频取证评测提供了更贴近部署的设定。