跳到正文
今天11月13日周五79 条
  1. arXiv · cs.CV72

    DisasterVLG 发布 124 万张灾害图像多任务数据集,覆盖视觉定位与证据式推理

    研究团队构建 DisasterVLG 大规模多任务数据集,包含来自 142 个国家的 124 万张灾害图像和 3300 万条结构化标注,覆盖密集描述与定位、事件评估、关系场景描述和灾害视觉问答(VQA)。

    推荐理由:该数据集把灾害场景的视觉定位与证据式问答统一起来,并给出人工核验测试集,便于评估模型在真实不确定性下的推理能力。

  2. arXiv · cs.CV60

    Blueprint2CAD 基准发布:评测视觉模型能否匹配工程图与 CAD 渲染图

    研究团队提出 Blueprint2CAD 基准,用于判断正交线工程图与另一视角的着色渲染图是否对应同一零件,其数据层 BlueCAD-30K 基于 29,925 个 Zero-to-CAD 模型生成六视角图纸与渲染。

    推荐理由:该基准把视角变化与骨干网络的影响分开考察,并给出冻结编码器和零样本 VLM 的具体表现,便于读者判断工程图检索任务的真实难点。

  3. arXiv · cs.CV58

    ChessQueries 用 ViT 编码器加 DETR 式解码器提升棋盘识别,ChessReD 准确率从 15.3% 升至 99.2%

    作者提出 ChessQueries,将 ViT 编码器与 DETR 式解码器结合用于棋盘识别,在 ChessReD 基准上把 SOTA 从 15.3% 提升到 99.2%,并在两个数据集上平均每盘仅 0.01 个错误格子(SOTA 分别为 3.4 和 0.15)。该方法在分布外数据集上也表现良好,作者同时公开了从顶级国际象棋赛事转播中解析出的更难数据集 SLCC,以及代码和模型权重。

  4. arXiv · cs.CV72

    MMEarth-Bench:面向全球地球观测的多模态测试时训练基准

    作者提出 MMEarth-Bench,包含五个环境任务、12 种模态和全球分布数据,并提供随机与地理两种测试划分。基准测试显示多模态预训练在少标注下更稳健,但地理泛化仍较差,数据充足时随机初始化的多模态模型也具竞争力。作者进一步提出模型无关的 TTT-MMR 方法,在测试时用全部可用模态做重建辅助任务,在两个划分上均提升各模型表现,数据集、代码与可视化工具见项目页。

    推荐理由:材料给出五个新任务、12 种模态和地理切分,并指出地理泛化仍是短板,读者可据此判断多模态地球观测模型的真实能力边界。

  5. arXiv · cs.CV78

    Ropedia Xperience 2 发布:1,589 个 3D 扫描与 4,230 段自我中心行为记录

    研究团队发布 Ropedia Xperience 2,包含 1,589 个已公开的米制尺度 3D 扫描,以及覆盖 74 项任务、共 131 小时的 4,230 段自我中心录制。

    推荐理由:该数据集同时提供环境扫描与人类行为演示,并给出转成机器人学习数据的流程,可供关注具身智能数据规模化的人参考。

  6. arXiv · cs.CV75

    Fog-FWL:用于恢复雾中隐藏目标的大规模全波形 LiDAR 数据集

    研究团队发布 Fog-FWL 数据集,包含 7,527 帧真实雾天全波形 LiDAR 数据(Fog-FWL-Real,来自 8 个场景、58 个序列,规模是现有唯一真实雾天 FWL 数据的 579 倍)和 12,000 帧物理仿真数据(Fog-FWL-Sim)。

    推荐理由:该数据集同时提供真实雾天全波形基准与物理仿真训练集,并支持严格的 sim-to-real 评测,便于读者判断雾天目标恢复任务的难度与数据缺口。

  7. arXiv · cs.CV68

    Pl@ntNet 推出机器对机器植物识别 API 服务,覆盖 85,000 种植物

    Pl@ntNet 团队发布机器对机器 AI 植物识别服务,通过 API 以程序化方式调用其识别模型与分类学处理,覆盖全球 85,000 种植物,物种预测准确率为 0.89,处理速度最高可达需人工介入流程的 666 倍。

    推荐理由:论文给出覆盖 85,000 种植物的 API 识别服务,并附可复现示例,便于读者评估其接入自动化监测流程的可行性。

  8. arXiv · cs.CV60

    RipBench:统一评测裂流检测、分类与分割的多层级基准

    研究团队提出 RipBench,一个在统一数据与标准化划分下评测裂流分类、轴对齐与旋转目标检测以及实例、语义、全景分割的基准。基于 304 段视频(303,491 帧,其中 51,011 帧标注了全部六项任务),帧级分类达到 F2 = 0.93,而最佳检测器和最佳实例分割器分别只有 0.72 和 0.66,且模型排名随任务变化。

    推荐理由:该基准在同一数据与划分下统一评测六项裂流任务,暴露出粗粒度识别与精细空间理解之间的性能落差。

  9. arXiv · cs.RO67

    ManiLadder:按难度分层校准的机器人操作仿真基准

    作者提出机器人操作仿真基准 ManiLadder,包含 112 个任务,按 4 个难度等级分层,每级 8 个类别,覆盖刚体与可变形物体、单臂与双臂、夹爪与灵巧手。为校准难度,每个任务固定相同数据量,用统一的 flow-matching 模仿学习策略在相同训练与评测协议下运行,以成功率作为经验难度信号,并跨随机种子、策略和智能体学习系统验证难度区间。真实实验显示任务难度排序在仿真之外仍保持。

    推荐理由:该基准按任务难度分层校准,并跨随机种子、策略和真实实验验证难度排序,可供读者判断机器人操作能力的评测设计。

  10. arXiv · cs.CV62

    RSLiveBench-UAV:面向航空空间智能的持续演进视觉语言基准

    作者提出 RSLiveBench-UAV,一个由持续采集真实无人机影像驱动的视觉语言基准,采用只收录上一版本发布后拍摄图像并延迟公布答案的更新协议。基准包含来自10个场景的35,491条问题记录、覆盖2D感知、3D感知、跨视角感知与推理共17项任务,全部使用确定性评分而非模型评判。

    推荐理由:该基准用持续采集的真实无人机影像更新题目,并给出30个模型的横向评测结果,可供读者判断航空空间智能的评测现状。

  11. arXiv · cs.CV74

    RPG 基准:AI 篡改视频检测器在真实部署条件下表现如何

    研究团队提出 Reality Perception Gap(RPG)基准,包含 1 万段来自前沿生成器和部分合成编辑的视频,并经过跨平台转发压缩处理,同时搭配带有相机端光学伪影的真实素材。在 18 个检测器上,当误报率为 1% 时,没有一个检测器能识别出超过 15% 的伪造视频。对照实验和重编码扫描显示,生成器与内容偏移在压缩前就已削弱检测能力,而转发压缩会抹掉基于伪影的检测器所依赖的低层痕迹。

    推荐理由:该基准把转发压缩与硬件伪影纳入评测,18 个检测器在 1% 误报率下漏检率极高,为视频取证评测提供了更贴近部署的设定。

  12. arXiv · cs.LG 机器学习78

    TIDE:面向科学机器学习的物理多样 3D 湍流基准数据集

    作者发布 TIDE(Turbulent Incompressible DNS Ensembles),一个 256^3 的 3D 不可压缩湍流 DNS 语料与基准,覆盖八个控制轴上的 15 种配置,提供独立集合、压力场和方程级验证。

    推荐理由:该基准用独立集合与物理保真指标揭示点误差低不等于小尺度动力学正确,为科学机器学习评测提供可复现的对照。

  13. arXiv · cs.LG 机器学习72

    PertReason 提出细胞状态条件下的扰动效应机制推理基准与框架

    研究团队提出 PertReason,包含基准 PertReasonQA 与参考模型 PertReasonLM,用于评估和改进细胞状态条件下的扰动效应机制推理。PertReasonQA 整合多种细胞环境下的单细胞遗传与化学扰动数据及知识图谱,并按细胞特异性基础状态动态生成通路,以测试模型在新细胞、未见扰动、跨模态与组合外推等分布偏移下能否给出机制上忠实的解释。

    推荐理由:该基准把单细胞扰动数据与知识图谱结合,用于检验模型解释是否机制忠实,并给出参考模型的训练路径。

  14. arXiv · cs.IR72

    快手发布 KuaiRecV2 基准,评测大规模持续学习与多任务推荐

    快手团队提出 KuaiRecV2 基准,用于评测多样化、多任务推荐中的大规模持续学习,数据来自快手工业级场景,包含百万级多模态物品信息和 30 天长期交互记录,并配有动态视频候选池。该基准在同一评价体系中同时考察检索准确率、多样性和多任务表现,只有新方法在所有指标上均提升才算有效进展,代码已开源。论文已被 NeurIPS 2026 接收。

    推荐理由:该基准把检索准确率、多样性与多任务表现纳入同一评价体系,要求新方法在所有指标上同时提升,便于读者判断离线评测与线上结果的差距。

  15. arXiv · cs.LG 机器学习72

    MutAtlas 构建覆盖 PDB 的蛋白质突变效应能量引导图谱

    研究团队构建 MutAtlas,在实验解析的蛋白质结构上穷举单点替换,并整合物理能量模型、蛋白质语言模型与逆折叠模型的突变信号,形成覆盖 PDB 的突变增强数据集。

    推荐理由:该工作构建覆盖 PDB 的单点突变数据集并统一比较物理能量模型与蛋白语言模型的分歧来源,附评测流程。

  16. arXiv · cs.AI 人工智能70

    Longtail-SWE:覆盖 13 种低覆盖编程语言的 202 个仓库级任务基准

    作者提出 Longtail-SWE,一个包含 202 个 issue 解决任务、覆盖 Clojure、Dart、Elixir、Erlang、F#、Haskell、Julia、Kotlin、Lua、OCaml、R、Scala 和 Swift 共 13 种语言的仓库级基准。

    推荐理由:该基准覆盖 13 种在仓库级评测中长期缺位的语言,并公开构建与评测工具,便于读者判断现有模型在小语种工程任务上的真实表现。

  17. arXiv · cs.AI 人工智能62

    Read-Parse-Describe:面向文档解析与视觉元素描述生成的统一数据集

    作者提出 Read-Parse-Describe 统一数据集,要求模型对页面图像输出含边界框、语义标签、阅读顺序、文本内容与视觉元素替代文本的有序版面元素列表。

    推荐理由:该基准把版面解析与视觉元素描述合并为单页级任务,并给出统一评测口径,便于比较端到端 VLM 与流水线解析器。

  18. arXiv · cs.AI 人工智能63

    CamChoreo 基准发布:评测视觉语言模型的时间定位与复合相机运动理解

    作者提出 CamChoreo,这是首个面向时间定位与复合相机运动理解的基准,包含 4,229 段单镜头视频和 20 个方向感知标签,近一半片段含复合相机运动。配套约 43K 段同格式训练语料,4B/8B 骨干经 SFT 达到 62.1/64.1 micro F1,超过先进闭源视觉语言模型。

    推荐理由:该基准把镜头内相机运动拆成时间区间与复合运动识别,并给出配套训练语料与蒸馏方法,便于读者判断现有 VLM 的短板。

  19. arXiv · cs.AI 人工智能70

    TRL-Bench:标准化表格编码器的跨范式表示级评测基准

    研究团队提出 TRL-Bench,通过统一封装导出表格的行、列或表级嵌入向量,再用共享轻量头在 TRL-CTbench、TRL-Rbench 和 TRL-DLTE 三个套件上探测,实现跨范式表示级比较。

    推荐理由:该基准把表格编码器从端到端流程中拆出来统一评测,20 个模型的结果显示编码器质量随能力而异,而非单一榜单可概括。

  20. arXiv · cs.AI 人工智能60

    EvoXXLTraffic:面向传感器演化网络的交通预测基准

    作者发布 EvoXXLTraffic,将 XXLTraffic 数据集族扩展为传感器逐年演化的交通预测基准,覆盖加州九个 PeMS 分区、最长 27 年,包含逐年传感器目录、固定站点 ID、流量矩阵和地理图快照。

    推荐理由:该基准把传感器集合随时间变化纳入交通预测评测,并给出13种基线在九个PeMS分区的对比结果,可供读者判断现有方法在新节点上的适应能力。

  21. arXiv · cs.AI 人工智能68

    MonitorBench:评估大语言模型思维链可监控性的基准

    研究团队提出 MonitorBench,用于系统评估大语言模型思维链的可监控性,包含覆盖 7 大类 19 项任务的 1540 个测试实例,并设置两种提示词压力测试。实验显示可监控性受被评估模型、监控模型和任务特征影响,当决策关键因素塑造中间推理过程时更高;压力测试下多数模型可主动降低可监控性,主要出现在推理过程不结构性要求这些因素的任务上。代码已开源。

    推荐理由:该基准用 1540 个测试实例和压力测试提示,量化 CoT 可监控性在何种条件下下降,为 AI 控制研究提供可复用的评测入口。

  22. arXiv · cs.AI 人工智能62

    DashBench 基准:评测 25 个 Video LLM 对自动驾驶 corner case 的理解

    研究团队提出 DashBench,用 1,709 段精心筛选的驾驶视频评测 25 个 Video LLM,覆盖碰撞类与罕见的非碰撞类 corner case。通过大量提示词与开放式问答,所有被测模型的表现都明显低于安全攸关驾驶应用所需的门槛,常误判或漏判前方危险事件,并在解释中幻觉出不存在的交通参与者或动作。该工作被 BMVC 2026 接收,代码与数据将在论文给出的项目链接公开。

    推荐理由:该基准聚焦自动驾驶中最罕见且安全攸关的 corner case,并给出 25 个 Video LLM 的系统性诊断,读者可据此了解现有模型在真实风险场景下的能力边界。

  23. arXiv · cs.AI 人工智能70

    PhysLoop:利用 LLM 物理常识自我改进视频生成模型

    PhysLoop 提出一套统一框架,让 LLM 在视频生成、筛选与修正各环节提供物理约束,把其物理知识蒸馏为物理一致的视频,并支持可控训练数据构建与推理时视频修复。作者发布 100K 条覆盖室内外场景的视频、生成工具及 PhysLoop-Gen 与 PhysLoop-Repair 两个评测数据集,并在外部 Physics-IQ Verified 基准上评估物理表现。

    推荐理由:论文把 LLM 的物理常识用于视频生成数据的筛选与修复,并公开 100K 视频和两个评测集,便于读者判断这条自改进路径的可复现性。

  24. arXiv · cs.AI 人工智能62

    Drifting:不依赖分类目标的数据集蒸馏方法

    作者提出 Drifting 数据集蒸馏方法,在特征提取器的隐空间中对合成样本做漂移,使其同时靠近真实数据并彼此远离,全程不使用分类目标。作者称漂移后的数据对真实分布的覆盖明显优于现有方法,同时仍是有效的分类训练样本,并可将该方法用作模型可视化工具、扩展到图像以外的模态。论文已被 NeurIPS 2026 接收,项目页见原文链接。

    推荐理由:论文提出不依赖分类目标的蒸馏方法,让合成样本直接逼近真实数据分布,并给出分布层面的评估指标。

  25. arXiv · cs.AI 人工智能62

    DesignTaste 基准:用 403 条设计简报对比文生图模型与获奖设计作品

    研究团队提出视觉设计基准 DesignTaste,从 100 Beste Plakate 2025 和 ADC 2026 的获奖作品及公开背景中整理出 403 条设计简报(100 个海报任务和覆盖 20 个类别的 303 个任务),让六款领先商用文生图模型按同一简报各生成一张图,再由单一模型评审在五个维度上分别给生成图和对应获奖作品打分。

    推荐理由:该基准把生成图像与获奖设计作品放在同一评审维度下比较,读者可据此了解文生图模型在开放式设计任务上的差距。

  26. arXiv · cs.AI 人工智能58

    研究测量计算机使用智能体所用 Android 界面语料的内容描述缺口

    研究测量了 Rico(2017 年采集)与 AndroidControl(2024 年采集)两个 Android 界面语料的内容描述覆盖率,在 17,373,614 个界面元素中,按作者编码规则需要内容描述的元素里,Rico 有 17.74% 带有描述,AndroidControl 为 57.27%,相差 39.5 个百分点,该差距在五种替代编码规则和整应用重采样下依然成立。