arXiv · cs.CY· Hayoung Jung, Pedro Viana Diniz, Jos\'e Reinaldo Corr\^ea Roveda, Abner Fernandes da Silva, Haeun Jung, Enoch Tsai, Aleksandra Korolova, Manoel Horta Ribeiro·· 2 天前精选AI 评分78
SciConBench：评估 AI 智能体能否合成健康领域科学结论
Can AI Agents Synthesize Scientific Conclusions in Health?
AI 导读
研究团队提出 SciConBench，一个包含 9.21K 问题及系统综述专家撰写结论的大规模实时基准，用于评估健康与医学领域的开放域科学结论合成。配套的 SciConHarness 干净室评测环境通过受控网页交互减少数据泄漏，在 8 个前沿模型和深度研究智能体上，最佳智能体的事实 F1 仅 0.337，且干净室设置下性能普遍低于无约束评测。
推荐理由
该基准用干净室评测揭示前沿模型在健康结论合成上的真实水平，并给出可复用的评测流程。
来源：arXiv · cs.CY · arxiv.org