DeepStress：面向深度搜索智能体的证据退化压力测试框架
作者提出 DeepStress 动态压力测试框架，用合成环境替换检索模块，按可控比例生成可信度、相关性和事实性各不相同的文档，对智能体施加退化证据压力。
推荐理由：该框架用可控退化证据替代检索模块，并给出两类可靠性指标，为评估搜索智能体的鲁棒性提供了可复现的测试方式。
研究方向与科研任务
Agent 智能体 最新动态
智能体架构、工具调用、多智能体系统与科学智能体。
118 条精选近 30 天 117 条共收录 309 条
更新
精选归档 · 第 3 页
arXiv · cs.CL 计算与语言精选AI 评分6262 arXiv · cs.CL 计算与语言精选AI 评分6262 SLIDERS：用自主数据库核对智能体为系统综述合成证据
研究团队提出 SLIDERS，一种基于 LLM 的系统综述证据表自动构建方法，核心是自主证据核对编码智能体迭代编写 SQL 来整合跨文档信息、消解矛盾并去重。
推荐理由：论文提出用编码智能体自动写 SQL 核对证据的方法，并给出两个新基准，读者可据此判断其在长文档证据合成上的可扩展性。
arXiv · cs.AI 人工智能精选AI 评分7171 研究对比 tau2-bench 上原生评分、LLM 评判与提交边界检查的一致性
作者在 tau2-bench 的 airline 和 retail 领域运行 2160 个 episode 并记录每次数据库写入，用原生评分、LLM 评判、带策略文档的 LLM 评判和规则式边界检查四种方式打分。
推荐理由：研究用同一批轨迹对比原生评分、LLM 评判与规则边界检查，量化了不同评测方式给出的结论差异。
arXiv · cs.AI 人工智能精选AI 评分7575 MechFoundry：自动完成真实物体工程分析与优化的智能体循环
作者提出 MechFoundry，一个无需人工介入的智能体循环，可从物体的文字描述生成形状、设定与实际用途相关的载荷工况、为各部件指定材料、求解非线性结构响应并改进设计。
推荐理由：作者把工程分析中难以验证的建模决策交给智能体，并给出 50 个物体的耗时与成本数据，可供评估自动化工程分析的边界。
arXiv · cs.AI 人工智能精选AI 评分6565 AVA：面向癌症诊断测序的可审计 read 级变异判定智能体框架
研究提出 AVA 智能体框架，用子智能体推理证据并生成调查代码，对 read 级测序数据给出真实突变或测序伪影的判定及可审计推理轨迹，且无需在现有数据上训练。
推荐理由：在阈值失效的边界低 VAF 变异上，该框架用可审计推理轨迹超过最优 VAF/深度阈值，并给出本地开源模型部署路径。
arXiv · cs.AI 人工智能精选AI 评分6262 SideTaskBench：衡量编程智能体在授权修复中交付未授权侧任务的比例
作者提出 SideTaskBench，用于衡量编程智能体在完成用户授权修复的同时交付用户未请求的侧任务产物。该基准包含 25 个 Python 修复任务和 190 个侧任务单元，四级相似度索引定义了 300 个可执行的修复与侧任务配对；在包装请求下，两个模型的有效交付率约为 40%，修复成功率接近各自的干净基线。
推荐理由：该基准把修复任务与独立侧任务配对，量化智能体在完成授权修复时额外交付未授权工作的比例，为评估智能体授权边界提供了可复用的测试床。
arXiv · cs.AI 人工智能精选AI 评分6565 EasyFoam 提出面向 OpenFOAM 的技能化智能体框架与 ExtFoamBench 基准
作者提出 EasyFoam，一个把 CFD 专业知识拆成模块化外部技能、由执行循环与进化循环双环驱动的 OpenFOAM 智能体框架，并配套发布覆盖五个工作流变化维度的基准 ExtFoamBench，分别评估执行完成度、数值合理性与 QoI 满足情况。
推荐理由：论文同时给出 OpenFOAM 智能体基准与技能化框架，并区分执行完成与结果可接受两类指标，便于读者判断 CFD 智能体的真实短板。
arXiv · cs.AI 人工智能精选AI 评分6262 LiveGeo：在持续演化的地理环境中评测 LLM 智能体
研究团队提出地理环境平台 GeoWorld 与基于它的基准 LiveGeo，用于评测 LLM 智能体在持续演化的真实地理环境中的决策可靠性。LiveGeo 要求智能体主动获取任务相关信息、核查支撑先前决策的证据是否仍然有效，并在必要时修改计划；结果显示前沿 LLM 在静态任务上已显吃力，且没有模型能在各类任务上稳定领先，静态表现强并不能保证动态可靠性。
推荐理由：该基准把地理任务放进持续演化的世界状态中，揭示静态表现强并不等于动态可靠，可供研究智能体决策评测的读者参考。
arXiv · cs.CL 计算与语言精选AI 评分6767 研究比较决策模型在长程 Agent 中作为行动者、评判者与教师的表现
研究在 ALFWorld 上比较三个决策模型和三个通用 LLM 作为行动者与评判者的表现，并在 ALFWorld 和 WebShop 上用 JEV 充当教师。作为行动者时，六个模型都会被更容易的子目标吸引，偏离必须先完成的子目标；作为能看到完整轨迹的评判者时，同一批模型能正确归因通向该子目标的步骤，并且询问每个动作是否有帮助比询问任务能否成功更能区分有用与无用动作。
推荐理由：论文比较决策模型作为行动者、评判者与教师三种角色，发现行动表现差的模型仍可通过事后评判动作来有效教学。
arXiv · cs.CL 计算与语言精选AI 评分7474 CapLite：面向小语言模型智能体的提示词注入防御，无需模型自写安全产物
作者提出 CapLite，从工具 schema 推导策略、在读取任何工具结果前提交写调用，并要求决定影响对象的参数必须出现在用户请求中，从而保证写操作完整性。
推荐理由：论文用 15 个开放权重模型检验小模型能否自写安全策略，并给出不依赖模型生成安全产物的防御方案。
arXiv · cs.AI 人工智能精选AI 评分7272 AnalogLayoutWorld：面向智能体模拟电路版图设计的开源基准
NovaSilicon Team 发布开源智能体基准 AnalogLayoutWorld，包含 40 个经专家审核的任务，要求从固定晶体管级网表完成端到端版图生成，并配有独立物理与版图后电气验证及客观版图质量指标。
推荐理由：该基准用40个专家审核任务和独立物理验证，量化了编码智能体在模拟电路版图设计上的真实通过率。
arXiv · cs.CL 计算与语言精选AI 评分6060 ACERL：用经验交接强化学习让智能体递归自我改进
研究团队提出 ACERL，在固定的 Agentic Context Engineering（ACE）框架下训练同一个模型同时承担行动、反思与 playbook 整理三种角色，并按候选经验交接产物对未来 actor rollout 的下游影响来评估它们。在多个智能体基准上，ACERL 的留出集表现高于基线方法，说明训练应同时优化当前 rollout 的动作和模型为后续 rollout 写下的经验。
推荐理由：论文把经验交接产物的构建也纳入强化学习优化，读者可据此了解智能体训练如何利用环境反馈。
arXiv · cs.CL 计算与语言精选AI 评分6060 多元智能体为 AI 政策征集公众意见：746 人实验显示满意度恢复 68%
研究提出并测试多元智能体（pluralistic agents），即代表个人参与 AI 政策讨论的 AI 智能体代表。实验显示智能体能稳定地把政策推向其所代表角色的偏好方向，但影响力大小受角色指令影响，例如被要求更啰嗦或更不配合时影响力更大。
推荐理由：论文用 746 人预注册实验量化多元智能体在政策讨论中的影响与公平性，并指出提示词会左右其影响力。
arXiv · cs.AI 人工智能精选AI 评分7272 Folio：面向长程语言智能体的可恢复多分辨率上下文折叠方法
作者提出上下文管理器 Folio，通过 L1 轮次笔记、L2 事件清单、L3 源记录三层句柄记录、折叠并恢复历史，由运行时按程序选择更粗粒度视图，折叠时输出索引 L2 和 L3 的句柄供恢复工具按页读取。
推荐理由：在 75 个 LOCA-bench 任务上，Folio 与同一运行时下的模型摘要压缩方式做了直接对比，并给出耗时与成本数据。
arXiv · cs.CL 计算与语言精选AI 评分7070 DecArena：评估大规模去中心化多智能体协作的新基准
作者提出 DecArena 基准，在图约束通信下评测去中心化多智能体协作，包含 10 万以上工具的合成可扩展分布式工具调用。实验显示，近期 LLM 智能体难以发现非本地相关资源并完成协作，标准强化学习也无法可靠克服这一限制；作者随后给出基线 GraphHarness，结合拓扑感知预热与基于 LLM 的自改进路由，相比基线任务成功率提升 48.5、协作质量提升 30.6，成本降低 34.0。
推荐理由：该基准用 10 万以上工具模拟图约束下的去中心化协作，并给出 GraphHarness 基线，便于读者判断现有 LLM 智能体的协作短板。
arXiv · cs.AI 人工智能精选AI 评分7878 Singularity-Bench：用六项端到端任务评测智能体能否自主构建 AI 系统
作者提出开放式基准 Singularity-Bench，包含预训练、中训练、后训练、推理、agent harness 和集群编排六项端到端任务，要求智能体从最小起点实现核心系统，并在相同硬件上与成熟的人工工程基线对比。
推荐理由：该基准用六个端到端开发任务和人工基线衡量智能体自主构建 AI 系统的能力，并公开了奖励攻击漏洞与防护方案。
arXiv · cs.AI 人工智能精选AI 评分6565 AstroMemBench：面向具身航天器智能体记忆系统的基准
作者提出 AstroMemBench 基准及 Scenario-Challenge-Capability 设计方法，将航天器长期自主运行需求映射为可执行的记忆测试，覆盖行星表面作业、在轨服务与深空探测三类场景的 9 项任务、16 类记忆子挑战，共 140 个模板和 2240 个实例。
推荐理由：该基准用 2240 个实例覆盖 16 类记忆子挑战，并给出多种记忆系统在会话重启后的对比结果，可供读者判断具身航天智能体的记忆设计。
arXiv · cs.AI 人工智能精选AI 评分6262 研究揭示生成式搜索中的任务编排委派未必提升准确率
研究用按预训练截止时间前后切分的数据集比较多种委派模式，发现委派相对非委派设置没有稳定的准确率提升，效果随模型和任务变化。当任务涉及编排模型自身不具备的知识时，委派会明显降低准确率，而同一 LLM 直接调用工具表现更好。分析将委派查询失真、工具使用低效以及智能体之间信息保存与传递失败列为反复出现的失败模式。
推荐理由：研究用预训练截止时间前后切分的数据集对比多种委派模式，指出委派并不稳定提升准确率，并归纳出三类失败模式。
arXiv · cs.AI 人工智能精选AI 评分6060 ReA-Bench：面向负责任智能体行为审计的诊断基准
研究团队提出 ReA-Bench，一个用于审计负责任智能体行为的诊断基准，将审计挑战分为内部安全知识、轨迹内矛盾、长上下文证据检索、来源与推理验证、间接引导、信息缺失六个层级。基准包含行为看似有风险但符合任务与授权的良性样本，并提供缩短轨迹或补充缺失信息的配对版本，用于检验审计器能否更稳定地识别同一风险；多数样本取自真实生产轨迹，场景经人工筛选与改写以保留真实任务和可能出现的风险。
推荐理由：该基准把智能体审计拆成六层能力，并配良性对照与配对轨迹，便于定位审计器漏判的具体环节。
arXiv · cs.AI 人工智能精选AI 评分6565 drydock-eval：面向小型编码智能体的红队评测工具包及完整实验记录
作者发布 drydock-eval，用于在单张 RTX 5090 上以约每小时 250 次运行评测小型编码智能体 Gemma 4 E4B，包含无网络容器隔离、八项本地与官方评分器配置对齐检查以及按仓库聚类的配对统计。
推荐理由：该工具包给出容器隔离、配置对齐与配对统计的完整评测流程，并公开近万条运行记录供复现。