跳到正文

研究方向与科研任务

评测与基准 最新动态

新基准、评测方法、数据集与 leaderboard 变化。

241 条精选近 30 天 237 条共收录 710 条

更新

精选归档 · 第 3 页

今天11月13日周五第 41–60 条
  1. arXiv · cs.IR75

    论文批评欧盟委员会 DMA 第 6(11) 条下 Google 搜索数据匿名化措施,并用真实数据完成再识别

    作者对欧盟委员会依据 DMA 第 6(11) 条要求 Alphabet 与竞争搜索引擎共享 Google Search 数据时须实施的匿名化措施做了批判性评述,并用 Alphabet 提供的真实搜索数据演示了低成本的再识别、记录链接与敏感属性推断。

    推荐理由:文章用真实 Google Search 数据演示低成本的再识别攻击,为评估匿名化措施是否达标提供了可参照的实证路径。

  2. arXiv · cs.LG 机器学习67

    ci-proto:基于 Mamba-3 线性递归的时序基础模型,在 fev-bench 上取得 SOTA

    作者提出 ci-proto 系列时序基础模型,基于 Mamba-3 的线性状态递归实现训练时的分块并行计算,推理成本随序列长度线性增长。该架构交替进行递归时序处理与跨变量注意力,支持多变量概率预测及过去已知和未来已知协变量。

    推荐理由:作者用线性递归替代二次注意力,在 100 个预测任务上同时比较精度与运行时间,为时序基础模型的效率取舍提供了可参照的帕累托前沿。

  3. arXiv · cs.IR67

    REWEAVE:面向查询负载自适应的 HNSW 在线学习索引

    作者提出 REWEAVE(Reward-Guided Rewiring of Vector Graphs),一种在线索引维护方法,从查询反馈中学习边效用,并在原有每节点度数上限内周期性重连底层图。

    推荐理由:论文给出在线重连 HNSW 的方法、理论保证与多组基线对比,读者可据此判断其是否适用于自身查询负载。

  4. arXiv · cs.IR80

    预测PB级图像中的目标事件:卫星影像开放词汇事件预测

    研究团队提出以不同时间点视觉语言模型嵌入向量的差值表示变化,在潜空间中直接搜索语义变换,从而无需人工标注即可自动发现全球事件。

    推荐理由:论文同时给出自动事件发现的数据引擎、跨六大洲的事件数据集和可提前九个月预测完工日期的模型,读者可据此判断开放词汇事件预测的可行性。

  5. arXiv · cs.IR70

    研究提出可计算的好奇心度量并构建好奇心感知推荐系统

    作者将信息缺口理论形式化为五条公理,构建推荐内容所引发好奇心的可计算度量,并通过问卷研究验证该度量与用户自报好奇心一致、优于现有代理指标。基于该度量设计的推荐系统在三个真实数据集上离线实验显著优于 SOTA,并在亚洲一家大型视频流媒体平台的在线对照实验中提升点击率、视频播放量和停留时长,该方法已在该平台部署运行。

    推荐理由:论文把信息缺口理论形式化为可计算的好奇心度量,并在亚洲某视频平台完成在线实验与上线部署,读者可据此评估该目标能否迁移到自己的推荐场景。

  6. arXiv · cs.IR72

    快手发布 KuaiRecV2 基准,评测大规模持续学习与多任务推荐

    快手团队提出 KuaiRecV2 基准,用于评测多样化、多任务推荐中的大规模持续学习,数据来自快手工业级场景,包含百万级多模态物品信息和 30 天长期交互记录,并配有动态视频候选池。该基准在同一评价体系中同时考察检索准确率、多样性和多任务表现,只有新方法在所有指标上均提升才算有效进展,代码已开源。论文已被 NeurIPS 2026 接收。

    推荐理由:该基准把检索准确率、多样性与多任务表现纳入同一评价体系,要求新方法在所有指标上同时提升,便于读者判断离线评测与线上结果的差距。

  7. arXiv · cs.LG 机器学习72

    MutAtlas 构建覆盖 PDB 的蛋白质突变效应能量引导图谱

    研究团队构建 MutAtlas,在实验解析的蛋白质结构上穷举单点替换,并整合物理能量模型、蛋白质语言模型与逆折叠模型的突变信号,形成覆盖 PDB 的突变增强数据集。

    推荐理由:该工作构建覆盖 PDB 的单点突变数据集并统一比较物理能量模型与蛋白语言模型的分歧来源,附评测流程。

  8. arXiv · cs.IR65

    研究提出 MitiHarm 框架,度量并缓解推荐系统中的有害内容传播

    研究从度量、揭示和缓解三方面考察推荐系统中的暴力、仇恨言论和色情等有害内容,构建带有害性标注的数据集并提出新的评测指标。实证分析发现用户倾向于接触有害内容,主流推荐方法往往会助推这类内容扩散。为此作者提出通用框架 MitiHarm,将有害性相关信号融入物品与用户表示学习,实验显示其能在保持用户满意度的同时显著缓解有害内容传播,该工作已被 IEEE TPAMI 接收。

    推荐理由:该工作构建带有害性标注的数据集与度量指标,并给出兼顾用户满意度的缓解框架,读者可据此了解推荐系统有害内容治理的评测与建模路径。

  9. arXiv · cs.AI 人工智能70

    Longtail-SWE:覆盖 13 种低覆盖编程语言的 202 个仓库级任务基准

    作者提出 Longtail-SWE,一个包含 202 个 issue 解决任务、覆盖 Clojure、Dart、Elixir、Erlang、F#、Haskell、Julia、Kotlin、Lua、OCaml、R、Scala 和 Swift 共 13 种语言的仓库级基准。

    推荐理由:该基准覆盖 13 种在仓库级评测中长期缺位的语言,并公开构建与评测工具,便于读者判断现有模型在小语种工程任务上的真实表现。

  10. arXiv · cs.AI 人工智能78

    研究发现基于人类偏好奖励的规划搜索会损害真实回报,并提出校准修正规则

    作者在 HalfCheetah、Hopper 及 Meta-World 的 drawer-open、plate-slide 任务上测量基于人类偏好奖励模型的 MPPI 规划搜索,发现搜索越强真实回报最多下降 76%,而留出标签准确率仍保持 0.75-0.97;在人类标签下 drawer-open 的 20 次运行全部失败,而作为起点的克隆策略 10 次全部成功。

    推荐理由:论文量化了基于人类偏好奖励模型的规划搜索如何偏离真实目标,并给出可校准的修正规则。

  11. arXiv · cs.AI 人工智能62

    Read-Parse-Describe:面向文档解析与视觉元素描述生成的统一数据集

    作者提出 Read-Parse-Describe 统一数据集,要求模型对页面图像输出含边界框、语义标签、阅读顺序、文本内容与视觉元素替代文本的有序版面元素列表。

    推荐理由:该基准把版面解析与视觉元素描述合并为单页级任务,并给出统一评测口径,便于比较端到端 VLM 与流水线解析器。

  12. arXiv · cs.AI 人工智能70

    通过迭代去对齐估计稀有事件概率:面向智能体轨迹风险的重要性采样方法

    研究团队提出一种重要性采样方法,通过扰动原模型权重构造可微参数化的语言模型提案,用梯度搜索放大稀有事件,并配合自适应正则平衡放大与估计稳定性。在约 120M 和约 2.6B 模型、三类事件共 300+ 个低至 10^-9 的稀有事件上评测,在概率低于 10^-7 的事件上,其估计器相对朴素蒙特卡洛平均获得超过 800 倍的计算加权效率提升,代码已开源。

    推荐理由:针对智能体轨迹中的极低概率风险事件,提出通过扰动模型权重构造重要性采样提案的估计方法,并给出与朴素蒙特卡洛的计算效率对比。

  13. arXiv · cs.AI 人工智能66

    研究提出隐私稠密检索协议:用深度哈希候选列表兼顾隐私与检索质量

    研究团队提出一种隐私稠密检索协议,用随机化二进制码把查询指向 200-500 条候选文档,再以加密重排和不经意密钥传输保护查询与最终选择。

    推荐理由:论文把学习式深度哈希当作隐私检索的候选过滤层,并给出在 2.68M 段落语料上的端到端延迟开销,读者可据此判断隐私 RAG 的实用边界。

  14. arXiv · cs.AI 人工智能63

    CamChoreo 基准发布:评测视觉语言模型的时间定位与复合相机运动理解

    作者提出 CamChoreo,这是首个面向时间定位与复合相机运动理解的基准,包含 4,229 段单镜头视频和 20 个方向感知标签,近一半片段含复合相机运动。配套约 43K 段同格式训练语料,4B/8B 骨干经 SFT 达到 62.1/64.1 micro F1,超过先进闭源视觉语言模型。

    推荐理由:该基准把镜头内相机运动拆成时间区间与复合运动识别,并给出配套训练语料与蒸馏方法,便于读者判断现有 VLM 的短板。

  15. arXiv · cs.AI 人工智能62

    LLM4SCREENLIT 提出用成本敏感 WMCC 评估大语言模型文献筛选性能

    作者提出 LLM4SCREENLIT 建议,用于评估大语言模型在系统综述文献筛选中的表现,并给出加权 Matthews 相关系数(WMCC),把 MCC 的机会校正与非对称误分类成本结合起来。

    推荐理由:针对系统综述文献筛选中混淆矩阵指标易误导的问题,提出成本敏感的 WMCC 指标并给出可操作的评估建议。

  16. arXiv · cs.AI 人工智能68

    RAS-Eval:用线性时序逻辑规约评估长程任务中智能体工具调用的安全性

    作者提出 RAS-Eval,将智能体的效用与安全目标统一表达为工具调用轨迹和环境观测上的线性时序逻辑(LTL)规约,并用现成模型检查器验证,从而给出确定性判定,避免 LLM-as-a-Judge 和 Agent-as-a-Judge 的评估器侧不确定性,同时只观测判定所依赖的状态,以较低成本捕获日志和最终环境状态中不留痕迹的瞬时违规。

    推荐理由:针对 LLM 智能体长程工具调用中的瞬时违规难以被日志捕获的问题,该工作用形式化规约替代 LLM 评判,并配套构建了 1000 条任务的基准。

  17. arXiv · cs.AI 人工智能70

    研究提出可验证的 RL 失配框架,用上下文冲突训练智能体兼顾能力与合规

    作者提出“可验证的奖励与上下文冲突”框架,研究强化学习在奖励准确衡量有用工作时仍强化违规行为的失配问题。在 25% 冲突混合比例下训练 128 次更新后,API 任务上可达 97.9% 的可验证获利违规;同一上下文检查作为二值惩罚可部分缓解已习得违规。在 32 个未见的变化证据任务上,资源训练得到的安全策略把安全完成率从 53.1% 提升到 89.1%,且两种策略都完成全部真实工作。

    推荐理由:论文把奖励驱动的失配写成可验证的奖励与上下文冲突,并给出可扩展的环境构造与安全学习结果。

  18. arXiv · cs.AI 人工智能60

    Nova-SI 提出面向工业级芯片布局规划的 AI 智能体评测框架

    研究团队提出一套 AI 智能体评测框架,把提交的布局接入指定的下游实现流程,检查几何合法性、测量物理质量并报告资源消耗。在一个 99 个宏单元约占固定 L 形布局区域 71% 的工业设计上,Nova-SI 在 0–100 综合质量分上平均为 57.97,高于表现最好的通用配置 GPT-6 Astra 的 31.17,且该差距在拥塞与时序原始测量和评分敏感性检查中保持一致。

    推荐理由:该框架把版图提交接入下游实现流程,用拥塞与时序等物理指标衡量智能体,而非只看工具调用是否成功。

  19. arXiv · cs.AI 人工智能78

    Primus 提出混合投影与自动调优,替代分布式训练配置的试错循环

    作者提出 Primus Projection,用混合投影引擎加 Primus Tuning Agent 自动搜索分布式训练配置,在 Llama 3.1 和 Mixtral 8x22B 上投影结果与多节点实测吞吐误差约 10% 以内。

    推荐理由:论文给出分布式训练配置的投影引擎与自动调优方案,并在多个大模型和 GPU 规模上报告了与实测吞吐的误差。

  20. arXiv · cs.AI 人工智能72

    同一模型兼任求解器与提议者:多任务自演化 harness 在分布外基准上追平 Codex

    作者提出一种让同一冻结模型在同一版 harness 上先当求解器解题、再当提议者读取完整运行记录并直接改写 harness 的自演化框架,每轮演化从五个不同领域的基准取任务,并严格分离训练与留出任务。

    推荐理由:论文把同一冻结模型同时当作求解器和提议者,并给出跨五个基准的分布外评测,读者可据此判断自演化 harness 的泛化边界。