NaijaFacts 发布尼日利亚事实多语言基准，区分语言效应与知识效应
研究团队发布 NaijaFacts 基准，用母语者撰写的尼日利亚事实与统计问题，提供英语、尼日利亚皮钦语、约鲁巴语、伊博语和豪萨语五个版本，并通过英美同类问题构建国家×语言矩阵，区分语言效应与知识效应。
推荐理由：该基准用同一批事实问题的多语言对照，把语言能力不足与知识缺失分开，读者可据此判断模型对非洲事实的掌握程度。
内容形态
数据集与基准 最新动态
研究数据集、基准与评测资源。
90 条精选近 30 天 88 条共收录 167 条
更新
精选归档 · 第 3 页
arXiv · cs.CL 计算与语言精选AI 评分6666 arXiv · cs.AI 人工智能精选AI 评分6060 MLIRBench 发布：1768 对 MLIR 程序评测 LLM 编译器 IR 推理
作者提出 MLIRBench，用多智能体流水线生成 MLIR 程序变异并通过执行验证行为，构建 1768 对经校验的 torch 与 linalg 程序对，标注为 EQUIV、DIVERGE 或 ERROR。
推荐理由：该基准用执行验证的程序对区分语义分类与执行行为预测，读者可据此了解 LLM 在编译器 IR 推理上的具体短板。
arXiv · cs.AI 人工智能精选AI 评分7878 KernelMosaic 发布 CUDA 内核生成开放数据集与智能体框架
KernelMosaic 发布面向 CUDA 内核生成的开放数据集与智能体框架，把自然语言描述、参考程序、数学规格等多样任务与经过验证的解法和优化轨迹配对。其智能体框架引导强 LLM 完成实现、正确性修复与性能优化，并用可复用的 CUDA 指导与执行反馈构建轨迹。
推荐理由：该数据集把多样 CUDA 任务与验证过的解法和优化轨迹配对，并给出小模型微调前后的基准数字，便于判断轨迹监督对代码生成的作用。
arXiv · cs.CL 计算与语言精选AI 评分6060 研究分析定性访谈回答质量：直接相关性最强，清晰度与信息量指标失效
作者识别、实现并评估了10种访谈回答质量指标，检验哪些指标能预测回答对研究发现的贡献，并构建了 Qualitative Interview Corpus，包含来自14个真实研究项目的343份访谈转录和16940条参与者回答。
推荐理由：作者构建真实访谈语料并检验10种质量指标，发现常用NLP指标无法预测回答价值，为自动化访谈系统评测提供依据。
arXiv · cs.AI 人工智能精选AI 评分6262 LiveGeo：在持续演化的地理环境中评测 LLM 智能体
研究团队提出地理环境平台 GeoWorld 与基于它的基准 LiveGeo，用于评测 LLM 智能体在持续演化的真实地理环境中的决策可靠性。LiveGeo 要求智能体主动获取任务相关信息、核查支撑先前决策的证据是否仍然有效，并在必要时修改计划；结果显示前沿 LLM 在静态任务上已显吃力，且没有模型能在各类任务上稳定领先，静态表现强并不能保证动态可靠性。
推荐理由：该基准把地理任务放进持续演化的世界状态中，揭示静态表现强并不等于动态可靠，可供研究智能体决策评测的读者参考。
arXiv · cs.AI 人工智能精选AI 评分7272 AnalogLayoutWorld：面向智能体模拟电路版图设计的开源基准
NovaSilicon Team 发布开源智能体基准 AnalogLayoutWorld，包含 40 个经专家审核的任务，要求从固定晶体管级网表完成端到端版图生成，并配有独立物理与版图后电气验证及客观版图质量指标。
推荐理由：该基准用40个专家审核任务和独立物理验证，量化了编码智能体在模拟电路版图设计上的真实通过率。
arXiv · cs.AI 人工智能精选AI 评分6969 CADET 构建带可执行演示的 PCB 布线实例，发布 10 万块零 DRV 合成板数据集 RouteDemos
CADET 联合生成合成 PCB 板与基于 EDA 引擎动作的演示，产出 RouteDemos 数据集，包含 100,000 块零设计规则违规（DRV）的合成板及其演示，17 项统计分布接近 142 块真实参考板。
推荐理由：RouteDemos 提供 10 万块零 DRV 合成板及 EDA 引擎动作演示，可用来训练和比较 PCB 布线策略。
arXiv · cs.AI 人工智能精选AI 评分7878 Singularity-Bench：用六项端到端任务评测智能体能否自主构建 AI 系统
作者提出开放式基准 Singularity-Bench，包含预训练、中训练、后训练、推理、agent harness 和集群编排六项端到端任务，要求智能体从最小起点实现核心系统，并在相同硬件上与成熟的人工工程基线对比。
推荐理由：该基准用六个端到端开发任务和人工基线衡量智能体自主构建 AI 系统的能力，并公开了奖励攻击漏洞与防护方案。
arXiv · cs.AI 人工智能精选AI 评分6565 AstroMemBench：面向具身航天器智能体记忆系统的基准
作者提出 AstroMemBench 基准及 Scenario-Challenge-Capability 设计方法，将航天器长期自主运行需求映射为可执行的记忆测试，覆盖行星表面作业、在轨服务与深空探测三类场景的 9 项任务、16 类记忆子挑战，共 140 个模板和 2240 个实例。
推荐理由：该基准用 2240 个实例覆盖 16 类记忆子挑战，并给出多种记忆系统在会话重启后的对比结果，可供读者判断具身航天智能体的记忆设计。
arXiv · cs.CL 计算与语言精选AI 评分6060 ViSeLA 提出视觉锚定语义学习与对齐框架，并发布千万级多语言行人检索数据集 MultiPedes
研究团队提出 ViSeLA 框架用于多语言文本行人检索（TBPR），并构建首个大规模行人中心多语言预训练数据集 MultiPedes，包含四种语言共 1000 万图文对。
推荐理由：论文同时给出多语言行人检索数据集与不依赖英语枢轴的跨模态对齐框架，读者可据此判断多语言 TBPR 的可行路径。
arXiv · cs.AI 人工智能精选AI 评分6060 ReA-Bench：面向负责任智能体行为审计的诊断基准
研究团队提出 ReA-Bench，一个用于审计负责任智能体行为的诊断基准，将审计挑战分为内部安全知识、轨迹内矛盾、长上下文证据检索、来源与推理验证、间接引导、信息缺失六个层级。基准包含行为看似有风险但符合任务与授权的良性样本，并提供缩短轨迹或补充缺失信息的配对版本，用于检验审计器能否更稳定地识别同一风险；多数样本取自真实生产轨迹，场景经人工筛选与改写以保留真实任务和可能出现的风险。
推荐理由：该基准把智能体审计拆成六层能力，并配良性对照与配对轨迹，便于定位审计器漏判的具体环节。
arXiv · cs.AI 人工智能精选AI 评分7272 NIBench：面向神经影像自主 AI 智能体的执行、技能演化与科学判断基准
作者提出神经影像基准 NIBench，从执行与流程重建、技能演化、科学判断三方面评测自主 AI 智能体。执行评测覆盖 7 个工具生态的 56 个任务，涉及结构、扩散、功能磁共振、PET 与多模态分析；科学判断评测使用已发表阿尔茨海默病研究的 36 条结论，要求智能体分析原始队列数据并给出可复现证据。
推荐理由：NIBench 把执行、技能蒸馏与科学判断拆成三项评测，并给出 19 个模型在神经影像流程上的差异表现。
arXiv · cs.AI 人工智能精选AI 评分6262 MVDriveBench：面向环视驾驶视频的多视角自动驾驶问答基准
研究团队提出 MVDriveBench，一个面向自动驾驶的环视视频问答基准，包含同步环视输入、时空理解与推理链导向评测，设计了覆盖从低层视觉感知到高层驾驶决策的 12 类问答任务。
推荐理由：该基准覆盖从视觉感知到驾驶决策的12类任务，并给出23个MLLM的评测结果，可用于判断多视角时空推理的现状。
arXiv · cs.CL 计算与语言精选AI 评分6262 Less is Safer：用可解释特征引导的 2.4K 样本实现高效 LLM 安全对齐
作者提出安全对齐数据集 Less is Safer（LIS），仅含 2.4K 样本，通过 Sparse Autoencoder（SAE）激活筛选覆盖多样可解释安全特征的提示词，再用多智能体对抗合成框架生成会引发不必要拒答的无害提示词。
推荐理由：该工作用 SAE 可解释特征筛选加对抗合成，把安全对齐数据压到 2.4K 样本，并与三个更大数据集在九项基准上对比。
arXiv · cs.AI 人工智能精选AI 评分7878 Science Prediction Universe 基准发布：100 个公开与 16 个私有湿实验任务评测智能体预测能力
研究团队提出 Science Prediction Universe（SPU）基准，包含化学、材料、生物与医学领域的 100 个公开验证任务和 16 个来自未发表湿实验的私有任务，要求智能体根据实验设置对候选条件按实测结果排序。
推荐理由：该基准用未公开湿实验任务检验智能体的科学判断力，并指出瓶颈在判断而非工具执行，为评测设计提供参考。
arXiv · cs.CL 计算与语言精选AI 评分7878 ShadowBench 基准揭示大语言模型的词汇锚定与遗忘假象
作者提出 ShadowBench 基准，用双特质关联（DTA）任务评测模型在缺少显式实体名时的潜在实体关联能力，发现从各规模模型到 GPT-5.4 和 Claude-Sonnet-4.6 均存在“Shadow Gap”，去掉词汇锚点后性能下降超过 20%。
推荐理由：ShadowBench 用双特质关联任务量化模型对实体名的依赖，并给出机器遗忘只做表面擦除的证据，读者可据此判断现有评测与遗忘方法的边界。
arXiv · cs.AI 人工智能精选AI 评分7070 RSI-PDEbench 发布：面向 PDE 求解自改进智能体的 1001 案例基准
作者提出 RSI-PDEbench，包含 42 类方程模板的 1001 个 PDE 案例，设 Full、Noisy（高斯噪声 RMS 为干净信号 RMS 的 50%）和 Hard-OOD 三种评测设置，并配套递归自改进智能体框架 RSI-PDE。
推荐理由：该基准覆盖 1001 个 PDE 案例并设置噪声与分布外场景，还给出自改进智能体的对照结果，便于判断 LLM 智能体在科学计算中的真实能力边界。
arXiv · cs.CL 计算与语言精选AI 评分6060 SO-Arena：覆盖 11 个领域评测 System One 模型的能力谱系与决策可靠性
作者提出 SO-Arena 基准，在 11 个领域和五类能力上评测 System One 模型的能力谱系与决策可靠性，并通过受控选项集变化下的决策稳定性和无有效选项时的缺失答案识别两项指标衡量可靠性。对 21 个模型的评测显示，扩展规模与额外推理带来的收益在不同领域差异明显，表现最好的 System One 模型在可靠性上仅排第七。项目页面已公开，论文共 32 页、10 张图、7 张表。
推荐理由：该基准把能力广度与决策可靠性分开测量，21 个模型的评测显示整体表现强并不等于决策可靠。
arXiv · cs.AI 人工智能精选AI 评分7575 GEO-Exact 精确求解 HBT legalization，21 个实例均获最优性证书
作者构建了 21 个设计/间距实例的开放基准，并提出精确求解器 GEO-Exact，用独立对偶证书证明其在全部 21 个实例上达到最优（相对原始-对偶间隙至多 8.2×10^-16）。
推荐理由：作者重建了公开基线并给出可验证的最优解证书，读者可据此判断 HBT legalization 的位移改进空间究竟有多大。
arXiv · cs.AI 人工智能精选AI 评分7171 SynthCorp：通过模拟企业事件生成数据智能体基准的平台
SynthCorp 是一个通过模拟业务事件随时间产生和修改企业数据来生成可定制数据资产与基准的平台，每个数据资产包含关系数据库、文档存储和数据目录，并配有评测任务与可执行 gold program。
推荐理由：SynthCorp 用模拟企业事件生成可定制数据资产与基准，并借模拟日志自动验证 gold program，为数据智能体评测提供了可扩展路径。