Papers with Code · arXiv cs.AI· Federico Ravenda, Mirko Cesarini, Daniele Montagnani, Volodymyr Karpenko, Antonietta Mira, Andrea Raballo·· 3 天前精选AI 评分78
Hx2Dx ARENA：基于 NEJM 1000 例病例的 LLM 交互式临床诊断基准
Hx2Dx: From Anamnesis to Diagnosis - A Multimodal Arena for Conversational Clinical Reasoning in LLMs
AI 导读
研究团队提出 Hx2Dx ARENA，一个包含 1000 例 NEJM 临床病例的交互式基准，模拟从问诊、体格检查到诊断检查的完整诊疗过程。在多种配置下评测开源与闭源 LLM 后发现，所有模型在交互场景中的诊断准确率都低于一次性给出完整病例的静态场景，能否提出有针对性的问题在很大程度上解释了模型间差距与准确率损失。作者认为 LLM 在相关信息齐备时推理良好，但在假设驱动的信息收集中仍受限。
推荐理由
该基准把诊断拆成问诊到确诊的交互过程，读者可据此判断模型在主动获取信息上的短板。
来源：Papers with Code · arXiv cs.AI · papers.cool