跳到正文
arXiv · cs.AI 人工智能· Pengcheng Zhou, Xuanyu Liu, Yanchen Yin, Tianjie Ju, Bobo Li, Shengqiong Wu, Hao Fei, Mong-Li Lee, Wynne Hsu·· 4 小时前精选AI 评分62

LiveGeo:在持续演化的地理环境中评测 LLM 智能体

LiveGeo: Benchmarking Geographic Agents in Continuously Evolving Worlds

AI 导读

研究团队提出地理环境平台 GeoWorld 与基于它的基准 LiveGeo,用于评测 LLM 智能体在持续演化的真实地理环境中的决策可靠性。LiveGeo 要求智能体主动获取任务相关信息、核查支撑先前决策的证据是否仍然有效,并在必要时修改计划;结果显示前沿 LLM 在静态任务上已显吃力,且没有模型能在各类任务上稳定领先,静态表现强并不能保证动态可靠性。

推荐理由

该基准把地理任务放进持续演化的世界状态中,揭示静态表现强并不等于动态可靠,可供研究智能体决策评测的读者参考。

来源:arXiv · cs.AI 人工智能 · arxiv.org