Ask2Decide：评估 LLM 智能体如何从人处获取决策相关信息
研究团队提出 Ask2Decide 基准，包含 43 个规划任务，用于评估 LLM 智能体是否会主动询问影响决策的缺失信息。他们收集 19 名参与者的 79 次交互会话，发现人类在方案出错后的回复中遗漏纠正性事实的比例为 43%，远高于未校准模拟用户的 7%，并据此校准出更贴近人类回复模式的模拟操作员。
推荐理由：该基准用优化求解器判定哪些事实会改变最优方案，并校准模拟用户，为评估智能体的主动提问能力提供了可复用的方法。
研究方向与科研任务
评测与基准 最新动态
新基准、评测方法、数据集与 leaderboard 变化。
241 条精选近 30 天 237 条共收录 710 条
更新
精选归档 · 第 12 页
arXiv · cs.AI 人工智能精选AI 评分7171 arXiv · cs.CL 计算与语言精选AI 评分7878 等算力协议下重估 GRPO 稠密奖励：Monte-Carlo 奖励在 Qwen2.5-1.5B 上反落后 14.3 个百分点
研究提出按生成 token 数与训练 GPU 小时对齐预算的 matched-compute 协议，在 6 个模型、1,668 次运行中重新比较 GRPO 与稠密过程奖励。
推荐理由：在等算力预算下重排稠密奖励与 GRPO 的优劣，为 RLVR 训练干预的评测方式提供可复现的对照协议。
arXiv · cs.CY精选AI 评分7575 研究发现 AI 中介的沟通会引导集体意见，X 平台 Grok 解释功能存在偏向
研究通过实证与理论分析发现，多个主流 LLM 在编辑争议话题的人类文本时会引入方向性偏差，例如使文本更支持枪支管制、更反对无神论。作者建立社交网络意见动力学模型，解析其均衡并在真实社交网络数据上模拟，显示 AI 在人际沟通中引入的偏差会沿网络放大并推动集体意见朝该方向偏移。
推荐理由：论文结合实证与模型分析，说明 LLM 编辑文本时的方向性偏差如何在社交网络中放大并改变集体意见。
arXiv · eess.IV精选AI 评分8282 CADS 发布全身 CT 解剖数据集与分割框架，覆盖 167 个结构、22,022 例 CT
研究团队提出 CADS 统一数据与模型框架，构建参照 SNOMED-CT 的解剖标签空间，整合 100 多家影像中心的数据，在 22,022 例 CT 上完成 167 个结构的完整标注。
推荐理由：该数据集以 SNOMED-CT 统一标签空间覆盖 167 个解剖结构，并在 18 个公开数据集上验证跨分布泛化能力。
arXiv · cs.CL 计算与语言精选AI 评分6060 研究提出 LLM 推理实时纠错方法，在 ASyMoB 上准确率提升 1.4-5.6 个百分点
研究提出在线确定性验证方法，在 LLM 写出推理步骤时用代码实时校验，检查失败即指出错误并让模型从原处继续，无需模型调用或 GPU。在 ASyMoB 基准上用三个开放权重模型测试，准确率提升 1.4-5.6 个百分点，错误答案净减少 1.8-14.9%，token 用量仅增加 6-7%。该方法以符号数学为例，利用推导中的显式表达式交由计算机代数系统在毫秒级完成检查。
推荐理由：提出用代码检查器在推理过程中实时校验每一步，无需额外模型调用，并在 ASyMoB 上给出准确率与 token 开销的量化结果。
Papers with Code · arXiv cs.AI精选AI 评分7676 Contrastive Discovery：用互斥竞争解释集改进 LLM 智能体的开放式科学发现
作者提出 Contrastive Discovery，把单个假设替换为由互斥且穷尽的竞争解释组成的对比集，按实验证据在集合上重新分配信念来打分，信念集中到某一解释时问题即被解决。
推荐理由：论文把假设检验从单点判断改为互斥解释集，并给出跨六个领域的量化对比与人类专家盲评结果。
Google DeepMind精选AI 评分8888 Google DeepMind 发布 Gemini 4 Carbon 前沿模型
Google DeepMind 面向开发者、企业和科研人员开放 Gemini 4 Carbon，主打长程智能体工作流、网络安全与科学推理。
推荐理由：官方披露了 Carbon 在多个第三方基准上的排名、成本对比与安全红队数据，可据此判断其能力边界。
Latent Space精选AI 评分8585 Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2，重夺 LLM 榜首
Anthropic 发布 Claude Fable 5.2 和 Claude Mythos 5.2，在 Artificial Analysis Intelligence Index v5 上以 65 分重回第一，超过 Gemini 4 Carbon 的 60 分和 Opus 5.5 的 59 分。
推荐理由：汇总了 Fable 5.2 在多个独立榜单上的成绩与每任务成本变化，便于判断其相对 Opus 5.5 的实际取舍。
Papers with Code · arXiv cs.AI精选AI 评分8585 Darmok 系统在《泰晤士报》填字锦标赛中全对完赛并快于所有人类选手
作者提出自动解谜系统 Darmok，在第 55 届《泰晤士报》填字锦标赛中与人类高手同场竞技，七道赛题全部零错误完成，每轮速度均快于所有人类选手，决赛题用时 6m 52s，比人类冠军快 3m 13s。
推荐理由：作者以锦标赛实战和五个月日常运行说明，复杂 AI 系统的难点正从平均准确率转向最坏情况下的可靠性。
Hugging Face Blog精选AI 评分6767 Hugging Face 推出决策模型接口，Transformers 与 llama.cpp 支持 /v1/systemone
Hugging Face 在博客中介绍决策模型（decision model）：输入 state 与若干问题，模型直接对预设答案输出概率分布而不生成文本，接口包含 choice、score、noul 三种原语。
推荐理由：Hugging Face 把决策模型统一成 state+questions 接口，读者可据此判断是否把分类路由任务从生成式 LLM 迁移过来。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Gemini Robotics 2.5 视觉-语言-动作模型
Google DeepMind 发布视觉-语言-动作模型 Gemini Robotics 2.5，在200项任务上相比此前基线成功率高30%至100%、完成任务快20%至30%。
推荐理由：原文给出200项任务评测、与基线的成功率与速度对比，以及奔驰产线96%成功率的实地验证。
Hugging Face Blog精选AI 评分6262 Elith 与 NVIDIA 发布 Nemotron-Personas-Finance-Japan 日本金融合成人物数据集
Elith 与 NVIDIA 发布 Nemotron-Personas-Finance-Japan，这是开源人物数据集 Nemotron-Personas-Japan 的金融领域扩展，共 900 万条人物记录（100 万条记录×9 个人物），每条 50 个字段，约 15 亿 token，含约 95 万个不重复姓名和 1600 多个职业类别。
推荐理由：数据集给出规模、字段构成与生成管线，读者可据此判断能否用于日本金融场景的智能体开发与评测。
Hugging Face Blog精选AI 评分8282 AI2 发布 ToyBlocks：面向机器人学习的受控仿真环境与数据集
AI2 在 Hugging Face 发布 ToyBlocks，一个围绕机械臂与桌面方块搭建的开放仿真框架，可自动生成任务与演示数据，并提供成功率之外的执行速度、施力与任务进度等指标。
推荐理由：读者可据此了解一个受控机器人学习环境如何把数据生成、训练与评测串起来，并看到多个基线模型的实测结果。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Gemini 4 Carbon，主打网络安全与长程 Agent 能力
Google DeepMind 发布 Gemini 4 Carbon，称其在 Artificial Analysis Intelligence Index v5.0 上以 59 分排名第一，并在 SEC-bench Pro（88.2%）、ExploitGym（54.8%）和 CWE-bench（71.0%）上取得 SOTA。
推荐理由：官方披露了 Carbon 在网络安全与长程 Agent 任务上的多项基准成绩和价格，读者可据此判断其能力边界。
Nature Computational Science精选AI 评分6868 Hi-TPH：面向 T 细胞受体–pHLA 结合预测的大规模层级数据集与基准
研究发布 Hi-TPH 大规模层级数据集，用于更准确地预测 T 细胞受体与抗原的结合，并揭示各分子组分如何共同影响预测。该数据集配合蛋白语言模型使用，相关成果发表于 Nature Computational Science。
推荐理由：该数据集把 TCR 与 pHLA 结合预测拆成层级结构，读者可据此了解蛋白语言模型在该任务上的数据基础。
Mistral AI精选AI 评分8282 Mistral 发布时序基础模型 Timestral，209M 参数在 GIFT-Eval、TIME、fev-bench 登顶
Mistral 发布首个时序基础模型系列 Timestral，最大 209M 参数版本在 GIFT-Eval、TIME、fev-bench 三个公开基准的五项指标上排名第一，参数量仅为此前 SOTA 的三分之二。
推荐理由：原文给出四个尺寸模型在三大公开基准上的排名与 CPU 推理延迟，读者可据此判断小参数时序基础模型是否够用。
Google Research精选AI 评分7676 Google 发布地理空间推理 agent 技术报告，并开源两个新基准
Google 发布 Geospatial Reasoning agent 技术报告，在 CBGB、UnivEARTH 及新构建的 GeoExpertQueries、GeoKTools 四个基准上对比四种 agent 配置。
推荐理由：技术报告给出四组 agent 配置在四个基准上的对比，可看清专用工具与前置规划各自带来的增益。
Mistral AI精选AI 评分8282 Mistral 发布 Mistral Large 4 公开预览：1 万亿参数原生多模态模型
Mistral AI 推出 Mistral Large 4 公开预览，这是一个 1 万亿参数、520 亿激活参数的原生多模态模型，权重将在本月底发布。
推荐理由：官方给出 ML4 的参数量、多基准成绩与 RL 训练细节，可据此判断开源权重模型的当前水位。
GitHub Blog · AI & ML精选AI 评分7878 GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench 代码审查离线基准，基于 1.039 亿个 GitHub PR 的语言与仓库规模分布，构建了覆盖 19 种语言、187 个开源仓库的 219 个 PR 评测集。
推荐理由：读者可了解该基准如何用多源金标集与可配置指标衡量代码审查智能体，并查看其与线上实验的对应关系。
Patterns精选AI 评分6868 Shao 等提出 MedicalAgentsBench，对比内化推理模型与外部智能体框架
Shao 等提出 MedicalAgentsBench，用于区分真正的多步临床推理与模式匹配。基于该基准，他们对比内化推理模型与外部智能体框架，发现两类方法互补，在推理模型之上叠加智能体取得最高准确率，超过任一单独方案。
推荐理由：该基准把多步临床推理与模式匹配区分开，并给出推理模型与智能体框架互补的对比结果。