内容形态
研究数据集、基准与评测资源。
71 条精选近 30 天 69 条共收录 207 条
ICLayout-Bench 是一个评测 LLM 智能体用 EDA 工具从晶体管级网表构建并优化 GDSII 版图的基准，通过物理验证、寄生提取和后仿真打分。基准包含 13 种 PDK、3 nm 至 180 nm 工艺节点的 165 个任务，覆盖模拟、混合信号与数字电路。
推荐理由：该基准覆盖 3 nm 到 180 nm 的 13 种 PDK，并给出 22 种配置的分数与成本对比，便于判断 LLM 智能体做版图设计的真实水平。
作者发布 OmniReview 数据集，整合多源学术平台并经消歧流程得到 202,756 条经验证的审稿记录，并提出从召回率到精确专家识别的三层评测框架。方法上提出 Pro-MMoE，用 LLM 生成的语义画像保留细粒度专业信息，并以任务自适应 MMoE 架构平衡相互冲突的评测目标。实验显示 Pro-MMoE 在 7 项指标中的 6 项达到 SOTA。
推荐理由：该工作同时给出大规模审稿人推荐数据集与三层评测框架，读者可据此比较现有方法在真实编辑流程下的表现。
研究团队提出 Ask2Decide 基准，包含 43 个规划任务，用于评估 LLM 智能体是否会主动询问影响决策的缺失信息。他们收集 19 名参与者的 79 次交互会话，发现人类在方案出错后的回复中遗漏纠正性事实的比例为 43%，远高于未校准模拟用户的 7%，并据此校准出更贴近人类回复模式的模拟操作员。
推荐理由：该基准用优化求解器判定哪些事实会改变最优方案，并校准模拟用户，为评估智能体的主动提问能力提供了可复用的方法。
研究团队提出 CADS 统一数据与模型框架，构建参照 SNOMED-CT 的解剖标签空间，整合 100 多家影像中心的数据，在 22,022 例 CT 上完成 167 个结构的完整标注。
推荐理由：该数据集以 SNOMED-CT 统一标签空间覆盖 167 个解剖结构，并在 18 个公开数据集上验证跨分布泛化能力。
Elith 与 NVIDIA 发布 Nemotron-Personas-Finance-Japan，这是开源人物数据集 Nemotron-Personas-Japan 的金融领域扩展，共 900 万条人物记录（100 万条记录×9 个人物），每条 50 个字段，约 15 亿 token，含约 95 万个不重复姓名和 1600 多个职业类别。
推荐理由：数据集给出规模、字段构成与生成管线，读者可据此判断能否用于日本金融场景的智能体开发与评测。
AI2 在 Hugging Face 发布 ToyBlocks，一个围绕机械臂与桌面方块搭建的开放仿真框架，可自动生成任务与演示数据，并提供成功率之外的执行速度、施力与任务进度等指标。
推荐理由：读者可据此了解一个受控机器人学习环境如何把数据生成、训练与评测串起来，并看到多个基线模型的实测结果。
研究发布 Hi-TPH 大规模层级数据集，用于更准确地预测 T 细胞受体与抗原的结合，并揭示各分子组分如何共同影响预测。该数据集配合蛋白语言模型使用，相关成果发表于 Nature Computational Science。
推荐理由：该数据集把 TCR 与 pHLA 结合预测拆成层级结构，读者可据此了解蛋白语言模型在该任务上的数据基础。
Mistral 发布首个时序基础模型系列 Timestral，最大 209M 参数版本在 GIFT-Eval、TIME、fev-bench 三个公开基准的五项指标上排名第一，参数量仅为此前 SOTA 的三分之二。
推荐理由：原文给出四个尺寸模型在三大公开基准上的排名与 CPU 推理延迟，读者可据此判断小参数时序基础模型是否够用。
Google 发布 Geospatial Reasoning agent 技术报告，在 CBGB、UnivEARTH 及新构建的 GeoExpertQueries、GeoKTools 四个基准上对比四种 agent 配置。
推荐理由：技术报告给出四组 agent 配置在四个基准上的对比，可看清专用工具与前置规划各自带来的增益。
GitHub 发布 ReviewBench 代码审查离线基准，基于 1.039 亿个 GitHub PR 的语言与仓库规模分布，构建了覆盖 19 种语言、187 个开源仓库的 219 个 PR 评测集。
推荐理由：读者可了解该基准如何用多源金标集与可配置指标衡量代码审查智能体，并查看其与线上实验的对应关系。
Shao 等提出 MedicalAgentsBench，用于区分真正的多步临床推理与模式匹配。基于该基准，他们对比内化推理模型与外部智能体框架，发现两类方法互补，在推理模型之上叠加智能体取得最高准确率，超过任一单独方案。
推荐理由：该基准把多步临床推理与模式匹配区分开，并给出推理模型与智能体框架互补的对比结果。