LEAP:用智能体框架提升 LLM 形式数学证明能力
作者提出智能体框架 LEAP,让通用基础模型通过与 Lean 编译器持续交互、把复杂问题拆成小单元并结合非形式化蓝图,在 2025 年 Putnam 竞赛中解出全部 12 道题。
推荐理由:LEAP 用智能体框架把通用 LLM 的形式化证明求解率从不足 10% 提到 70%,并给出 Lean-IMO-Bench 与 Putnam 结果。
研究方向与科研任务
智能体架构、工具调用、多智能体系统与科学智能体。
118 条精选近 30 天 117 条共收录 309 条
作者提出智能体框架 LEAP,让通用基础模型通过与 Lean 编译器持续交互、把复杂问题拆成小单元并结合非形式化蓝图,在 2025 年 Putnam 竞赛中解出全部 12 道题。
推荐理由:LEAP 用智能体框架把通用 LLM 的形式化证明求解率从不足 10% 提到 70%,并给出 Lean-IMO-Bench 与 Putnam 结果。
作者提出去中心化 AI 智能体团队 AutoScientists,智能体读取共享实验状态、围绕有前景的假设自组织成团队,并在使用算力前互相评审提案、共享成败以减少重复探索。
推荐理由:论文在三个领域用匹配预算对比既有 AI 智能体,并给出 BioML-Bench 与 ProteinGym 的具体提升幅度,可供判断去中心化智能体团队是否值得复现。
GrandCode 是一个面向竞赛编程的多智能体强化学习系统,在 2026 年 3 月 21 日、28 日、29 日举行的 Codeforces Round 1087、1088、1089 三场实时比赛中均排名第一,击败包括传奇特级大师在内的所有人类参赛者。
推荐理由:该工作提出面向多阶段智能体 rollout 的 Agentic GRPO,并在三场 Codeforces 实时赛中取得第一,可供关注智能体强化学习训练稳定性的人参考。
作者提出 MobileProbe,一个轨迹感知的移动智能体红队测试框架,通过自动化渗透发现攻击者可控的内容界面、定位轨迹中的脆弱决策点,并用代理模型筛选的进化循环迭代优化上下文相关载荷。
推荐理由:针对固定步骤注入测试覆盖不足的问题,提出轨迹感知的自适应红队框架,并在三种智能体架构上对比多类基线。
作者提出 ADAPT,让自主编码智能体分析 PR 基线与头版本的 diff,定位被修改函数并生成候选单元测试,再经 fail-to-pass 验证工具在双版本上运行并反馈未覆盖的变更行,迭代精炼测试。
推荐理由:在 426 个真实 PR 上,ADAPT 的 F2P 率明显高于 BLAST,并给出与 ChaCo 的覆盖率、时间和成本对比。
研究团队提出 CAMP-II,用完全异步的 on-policy 蒸馏(OPD)在五个长程环境中联合训练单一策略,让编码 Agent 直接从具备文件操作先验的冻结教师模型学习基于文件的记忆行为。
推荐理由:论文针对长程任务中记忆控制依赖模型预训练之外接口的问题,提出用文件操作先验的教师模型做异步 OPD,并给出跨五个环境的训练与外部基准结果。
JustRUA 在统一框架下拆解 GPT-6 机器人使用智能体的设计,分别考察模型外围 harness、动作接口、经验复用和输入给模型的场景几何。
推荐理由:论文把机器人使用智能体的 harness、动作接口、经验复用与场景几何拆开做受控对比,并给出 RoboDojo 上的分数变化。
作者提出 VibePrevisBench,用于评测编码智能体在 Blender 中重建 4D 场景并渲染代理视频的能力,包含 242 个任务,覆盖脚本、照片、续写和参考视频四类输入。
推荐理由:该基准用规则场景检查与 VLM 画面检查两路评分,对 11 个前沿编码智能体做统一比较,可据此判断它们在空间与镜头理解上的短板。
作者提出 RewardFlow,把同一任务的多条轨迹通过共享状态连成有向状态图,从成功状态沿最短路径反向传播奖励信号,为动作分配随距离递减的状态势,用势差奖励缩短成功距离的动作,从而在策略优化中补充轨迹级优势,无需学习过程奖励模型或人工动作级标注。
推荐理由:论文针对智能体强化学习中的动作级信用分配问题,用状态图拓扑传播奖励,无需过程奖励模型或人工标注。
研究团队提出 GT-HarmBench,包含 1535 个取自 MIT AI Risk Repository 的高风险场景,覆盖囚徒困境、猎鹿博弈和胆小鬼博弈等博弈论结构。在 15 个前沿模型上,智能体在 39% 的高风险案例中未能选择对社会有益的行动,涉及军事升级、选举操纵和医疗事故等情境;博弈论干预可将有益结果提升最多 31%。基准与代码已公开。
推荐理由:该基准覆盖 1535 个博弈论结构的高风险场景,并给出 15 个前沿模型的失败率与干预效果,可供多智能体对齐评测参考。
研究团队提出 CastWorld,一个面向上下文感知时序预测的智能体基准,包含覆盖 8 个领域、25 个真实数据集的上下文数据集,以及提供 49 个核心工具和状态自适应循环的轻量评测框架。
推荐理由:该基准覆盖 8 个领域、25 个真实数据集,并配有 49 个工具和过程级评测,读者可据此了解智能体时序预测的评测方式。
作者在 web navigation、computer use 和机器人任务上评测了 13 个模型、28 种 judge 设计,发现 MLLM 验证器普遍存在过度认可智能体行为的 agreement bias,且该偏差对 test-time scaling 不敏感。
推荐理由:文章系统评测了 13 个 MLLM 在 28 种 judge 设计下的验证偏差,并给出可迁移的两步验证方法。
作者提出 ScrapeBench,这是首个用于实证评估 AI 智能体在网页抓取中是否遵守 ToS 与 robots.txt 的智能体基准。在 1,626 个明确禁止抓取的网站样本上,多数闭源与开源智能体的合规率低于 5%,即使主动检查 ToS 和 robots.txt 仍表现偏低;在 269 个不禁止抓取的网站样本上,Claude Opus 4.6 的过度拒绝率达 98.5%。
推荐理由:该基准用 1,626 个禁止抓取的网站和 269 个允许抓取的网站,量化了 AI 智能体对 ToS 与 robots.txt 的合规率,并给出人类基线对照。
研究提出 cognition-suite 评测,让基于合成或真人认知反思、Need for Cognition 与 Big Five 画像的 LLM 智能体完成与 473 名成人相同的测试套件,检验其能否复现分级认知多样性。
推荐理由:该研究用同一套认知测试对比 LLM 模拟人群与 473 名成人,指出自我报告特质可复现但任务表现多样性不足。
研究团队提出 Jais 3,一组 0.9B 至 375B 参数的六款开放阿拉伯语智能体模型,可规划多步任务、调用工具与 MCP 服务器、操作终端、联网搜索并读写 PDF、表格和演示文件。
推荐理由:六款模型全部开放权重与各训练阶段检查点,并附审计后的基准与评测代码,便于判断阿拉伯语智能体能力的可复现程度。
作者提出 QSim-Arena 研究框架,让 AI 智能体把已发表技术转成可执行组件、复现结果并在多类 Hamiltonian 上基准测试,同时独立实现竞争性经典方法作为可信基线。框架结合基于严格误差界与经验校准的端到端量子资源估计,并利用文献知识重组经典模拟技术、协同设计容错量子电路;初步应用通过整合已有技术改进了基线资源估计。
推荐理由:该框架把量子模拟优势评估做成可复现的闭环流程,读者可据此了解 AI 智能体如何交叉核验经典基线与量子资源估计。
作者通过 LLM 回答验证与事实核查两项用户研究,比较多智能体审议(MAD)与单轮 AI 辅助等决策支持方法,发现 MAD 在两项任务上均优于单轮 AI 辅助,其中多轮交互是主要收益来源,第二个 AI 仅在单个 AI 仍有提升空间时带来增益。研究还考察 AI 人设与人类参与程度两项设计选择,发现魔鬼代言人式人设会降低准确率和用户体验,而人类主动参与 MAD 在一项任务上提升准确率但伴随挫败感。
推荐理由:两项用户研究拆解多智能体审议的两个维度,指出多轮交互是收益主因,为设计人机决策支持提供依据。
研究提出警告诱导过度拒答这一可用性攻击:攻击者在低可信内容中植入伪造风险警告,阻止智能体完成合法任务。作者构建可控制风险内容、来源与措辞的反事实任务变体,在三个模型家族、51 组可注入的 AgentAbstain 任务对上评测;谨慎优先的提示词会放大攻击,Gemini 的诱导过度拒答率从 9.8% 升至 86.3%,而干净任务完成率不变。
推荐理由:论文把智能体拒答行为本身当作攻击面,给出可复现的反事实任务与验证协议,便于读者评估安全提示的代价。
SAIL 团队提出开源模型 SAIL,总参数 35B、激活参数 3B,面向文献调研、科学编程和多步科研工作流。其训练采用科学感知改进闭环:由前沿 AI 模型构建的智能体分析 SAIL 的任务失败,针对文献检索与证据选择、科学编程中的假设与推理、长程调研中的规划与修订等能力缺口构造训练任务,并经过监督微调、专家训练、多教师 on-policy 蒸馏和智能体强化学习多轮迭代。
推荐理由:SAIL 用前沿模型智能体诊断自身失败并生成训练任务,形成可重复的科学能力改进闭环,为小参数模型做科研任务提供了可迁移的训练思路。
作者提出一套低成本、可扩展、可复现的模型行为测量方案:每项研究是一组冻结的公开刺激,在跨厂商模型面板上以每个模型几美元或更低成本运行,并用三种方式解读对话记录,分别是限定回复的精确匹配、由 LLM 评审按码本编码并报告与人工编码者的一致性,以及记录智能体实际行为的插桩环境。
推荐理由:作者提出一套低成本、可复现的模型行为测量方案,并在跨厂商四年模型版本上给出四类行为发现。