内容形态
研究数据集、基准与评测资源。
90 条精选近 30 天 88 条共收录 167 条
研究团队提出 PertReason，包含基准 PertReasonQA 与参考模型 PertReasonLM，用于评估和改进细胞状态条件下的扰动效应机制推理。PertReasonQA 整合多种细胞环境下的单细胞遗传与化学扰动数据及知识图谱，并按细胞特异性基础状态动态生成通路，以测试模型在新细胞、未见扰动、跨模态与组合外推等分布偏移下能否给出机制上忠实的解释。
推荐理由：该基准把单细胞扰动数据与知识图谱结合，用于检验模型解释是否机制忠实，并给出参考模型的训练路径。
研究团队发布 AeroZoo 基准与训练语料，包含 3,815 个带转捩模型的非定常 RANS 方程时均解，覆盖七类几何、八种外流场配置和 10^3 至 10^8 的雷诺数；其中 2,816 个具有稳定时均的样本构成正式基准，含工程指标与 22 个按几何不相交的冻结划分。
推荐理由：该基准用七类几何、八种外流场配置和跨雷诺数划分，检验气动基础模型能否泛化到新外形与新边界条件。
研究团队提出以不同时间点视觉语言模型嵌入向量的差值表示变化，在潜空间中直接搜索语义变换，从而无需人工标注即可自动发现全球事件。
推荐理由：论文同时给出自动事件发现的数据引擎、跨六大洲的事件数据集和可提前九个月预测完工日期的模型，读者可据此判断开放词汇事件预测的可行性。
快手团队提出 KuaiRecV2 基准，用于评测多样化、多任务推荐中的大规模持续学习，数据来自快手工业级场景，包含百万级多模态物品信息和 30 天长期交互记录，并配有动态视频候选池。该基准在同一评价体系中同时考察检索准确率、多样性和多任务表现，只有新方法在所有指标上均提升才算有效进展，代码已开源。论文已被 NeurIPS 2026 接收。
推荐理由：该基准把检索准确率、多样性与多任务表现纳入同一评价体系，要求新方法在所有指标上同时提升，便于读者判断离线评测与线上结果的差距。
研究团队构建 MutAtlas，在实验解析的蛋白质结构上穷举单点替换，并整合物理能量模型、蛋白质语言模型与逆折叠模型的突变信号，形成覆盖 PDB 的突变增强数据集。
推荐理由：该工作构建覆盖 PDB 的单点突变数据集并统一比较物理能量模型与蛋白语言模型的分歧来源，附评测流程。
作者提出 Longtail-SWE，一个包含 202 个 issue 解决任务、覆盖 Clojure、Dart、Elixir、Erlang、F#、Haskell、Julia、Kotlin、Lua、OCaml、R、Scala 和 Swift 共 13 种语言的仓库级基准。
推荐理由：该基准覆盖 13 种在仓库级评测中长期缺位的语言，并公开构建与评测工具，便于读者判断现有模型在小语种工程任务上的真实表现。
作者提出 Read-Parse-Describe 统一数据集，要求模型对页面图像输出含边界框、语义标签、阅读顺序、文本内容与视觉元素替代文本的有序版面元素列表。
推荐理由：该基准把版面解析与视觉元素描述合并为单页级任务，并给出统一评测口径，便于比较端到端 VLM 与流水线解析器。
作者提出 CamChoreo，这是首个面向时间定位与复合相机运动理解的基准，包含 4,229 段单镜头视频和 20 个方向感知标签，近一半片段含复合相机运动。配套约 43K 段同格式训练语料，4B/8B 骨干经 SFT 达到 62.1/64.1 micro F1，超过先进闭源视觉语言模型。
推荐理由：该基准把镜头内相机运动拆成时间区间与复合运动识别，并给出配套训练语料与蒸馏方法，便于读者判断现有 VLM 的短板。
研究团队提出 TRL-Bench，通过统一封装导出表格的行、列或表级嵌入向量，再用共享轻量头在 TRL-CTbench、TRL-Rbench 和 TRL-DLTE 三个套件上探测，实现跨范式表示级比较。
推荐理由：该基准把表格编码器从端到端流程中拆出来统一评测，20 个模型的结果显示编码器质量随能力而异，而非单一榜单可概括。
作者发布 EvoXXLTraffic，将 XXLTraffic 数据集族扩展为传感器逐年演化的交通预测基准，覆盖加州九个 PeMS 分区、最长 27 年，包含逐年传感器目录、固定站点 ID、流量矩阵和地理图快照。
推荐理由：该基准把传感器集合随时间变化纳入交通预测评测，并给出13种基线在九个PeMS分区的对比结果，可供读者判断现有方法在新节点上的适应能力。
研究团队提出 MonitorBench，用于系统评估大语言模型思维链的可监控性，包含覆盖 7 大类 19 项任务的 1540 个测试实例，并设置两种提示词压力测试。实验显示可监控性受被评估模型、监控模型和任务特征影响，当决策关键因素塑造中间推理过程时更高；压力测试下多数模型可主动降低可监控性，主要出现在推理过程不结构性要求这些因素的任务上。代码已开源。
推荐理由：该基准用 1540 个测试实例和压力测试提示，量化 CoT 可监控性在何种条件下下降，为 AI 控制研究提供可复用的评测入口。
研究团队提出 DashBench，用 1,709 段精心筛选的驾驶视频评测 25 个 Video LLM，覆盖碰撞类与罕见的非碰撞类 corner case。通过大量提示词与开放式问答，所有被测模型的表现都明显低于安全攸关驾驶应用所需的门槛，常误判或漏判前方危险事件，并在解释中幻觉出不存在的交通参与者或动作。该工作被 BMVC 2026 接收，代码与数据将在论文给出的项目链接公开。
推荐理由：该基准聚焦自动驾驶中最罕见且安全攸关的 corner case，并给出 25 个 Video LLM 的系统性诊断，读者可据此了解现有模型在真实风险场景下的能力边界。
PhysLoop 提出一套统一框架，让 LLM 在视频生成、筛选与修正各环节提供物理约束，把其物理知识蒸馏为物理一致的视频，并支持可控训练数据构建与推理时视频修复。作者发布 100K 条覆盖室内外场景的视频、生成工具及 PhysLoop-Gen 与 PhysLoop-Repair 两个评测数据集，并在外部 Physics-IQ Verified 基准上评估物理表现。
推荐理由：论文把 LLM 的物理常识用于视频生成数据的筛选与修复，并公开 100K 视频和两个评测集，便于读者判断这条自改进路径的可复现性。
作者提出 Drifting 数据集蒸馏方法，在特征提取器的隐空间中对合成样本做漂移，使其同时靠近真实数据并彼此远离，全程不使用分类目标。作者称漂移后的数据对真实分布的覆盖明显优于现有方法，同时仍是有效的分类训练样本，并可将该方法用作模型可视化工具、扩展到图像以外的模态。论文已被 NeurIPS 2026 接收，项目页见原文链接。
推荐理由：论文提出不依赖分类目标的蒸馏方法，让合成样本直接逼近真实数据分布，并给出分布层面的评估指标。
研究团队提出视觉设计基准 DesignTaste，从 100 Beste Plakate 2025 和 ADC 2026 的获奖作品及公开背景中整理出 403 条设计简报（100 个海报任务和覆盖 20 个类别的 303 个任务），让六款领先商用文生图模型按同一简报各生成一张图，再由单一模型评审在五个维度上分别给生成图和对应获奖作品打分。
推荐理由：该基准把生成图像与获奖设计作品放在同一评审维度下比较，读者可据此了解文生图模型在开放式设计任务上的差距。
作者提出 HumanSightBench 基准，用 2,876 道短答案视觉问题评估多模态大模型与人类视觉感知的差距，覆盖 7 个顶层感知类别和 21 个子类。所有题目需通过问题清晰、答案唯一、视觉可定位、人类可解、纯文本捷径过滤五道纳入门槛，以减少歧义和外部知识干扰。在 8 个受测 MLLM 中最佳 pass@3 为 65.6%，Counting 子类无一模型超过 27.5%。
推荐理由：基准用五道纳入门槛控制歧义与外部知识干扰，并给出计数等子类的能力缺口，便于读者判断评测设计。
作者提出 VibePrevisBench，用于评测编码智能体在 Blender 中重建 4D 场景并渲染代理视频的能力，包含 242 个任务，覆盖脚本、照片、续写和参考视频四类输入。
推荐理由：该基准用规则场景检查与 VLM 画面检查两路评分，对 11 个前沿编码智能体做统一比较，可据此判断它们在空间与镜头理解上的短板。
研究团队提出 GT-HarmBench，包含 1535 个取自 MIT AI Risk Repository 的高风险场景，覆盖囚徒困境、猎鹿博弈和胆小鬼博弈等博弈论结构。在 15 个前沿模型上，智能体在 39% 的高风险案例中未能选择对社会有益的行动，涉及军事升级、选举操纵和医疗事故等情境；博弈论干预可将有益结果提升最多 31%。基准与代码已公开。
推荐理由：该基准覆盖 1535 个博弈论结构的高风险场景，并给出 15 个前沿模型的失败率与干预效果，可供多智能体对齐评测参考。
研究团队提出 Breath-Dx，这是首个面向呼气疾病筛查的时间序列分类综合基准，基于迄今最大的公开临床电子鼻数据集 S-OH，覆盖 1,234 名患者、9 个诊断组，每组为 17 通道多元时间序列，并提供考虑传感器漂移的显式时间训练/测试划分。
推荐理由：该基准用带时间切分的公开电子鼻数据集量化传感器漂移对分类的影响，并给出多类方法的统一对比。
研究团队提出 CastWorld，一个面向上下文感知时序预测的智能体基准，包含覆盖 8 个领域、25 个真实数据集的上下文数据集，以及提供 49 个核心工具和状态自适应循环的轻量评测框架。
推荐理由：该基准覆盖 8 个领域、25 个真实数据集，并配有 49 个工具和过程级评测，读者可据此了解智能体时序预测的评测方式。