AoA:在抽象语法树上运行的定理证明智能体,API 成本降低 2.3–4.7 倍
作者提出 Agent over AST(AoA),让模型以 Minilang AST 的 JSON 表示输出证明,并通过树编辑模型把证明操作与状态融合成一棵证明树,从而摆脱对序列化具体语法和行号查询的依赖。
作者提出 Agent over AST(AoA),让模型以 Minilang AST 的 JSON 表示输出证明,并通过树编辑模型把证明操作与状态融合成一棵证明树,从而摆脱对序列化具体语法和行号查询的依赖。
作者提出 GAP 细粒度对齐范式,用于多模态大模型的视觉隐式推理,指出主流方法把解码器隐状态当作隐式输入,与输入嵌入的范数区间不匹配,导致增益不稳定。GAP 从数据、特征、模型三个层面做对齐,其中特征层用轻量 PCA 对齐隐式头把解码器输出映射为输入兼容的视觉隐式表示。
作者提出免 critic 的强化学习框架 TIDE,用有界 Hellinger 距离替代反向 KL 散度,并用熵门控把序列级优势重新分配到 token 上。在 Qwen2.5-32B 上,TIDE 在 AIME 2024 和 AIME 2025 的 Avg@32 准确率分别达到 60.0% 和 46.0%,高于 DAPO 等免 critic 基线。
作者提出 LEAP,一个面向平滑整数规划(含 MAX-CUT、MAX-k-SAT)的端到端学习增强框架:由 oracle 预测完整布尔赋值,再围绕该赋值线性化目标、求解带误差预算的线性规划并取整。
推荐理由:论文给出 LEAP 的端到端理论界与 MAX-CUT、MAX-SAT 实验,读者可据此判断学习增强整数规划的适用边界。
研究者在合成算术任务上训练 Transformer,发现模型常以逆序或并行方式习得算术技能,而非人类式的顺序规则,作者称之为碎片化组合性(shattered compositionality)。
研究团队提出 OPA-Pack 框架,将易碎性、可食用性、化学相容性等物体属性纳入机器人装箱规划。该框架用基于 RAG 和链式推理的属性识别方案构建了 1,032 个日常物体的属性标注数据集,并用属性嵌入层和易碎/避让高度图训练 OPA-Net。
作者提出免训练方法 DForkTree,通过用目标模型生成的 n-gram 点互信息调整草稿模型分数,并在分支后加大权重,再用逐层 GPU 搜索恢复最优草稿树。
研究者在 8 个黑盒模型和 5 个开放权重模型上测试 persona 提示的选择性控制假设,发现仅改变目标属性也会改变未指定的非目标选择,例如风险偏好变化会带动颜色选择变化。
推荐理由:论文用 477 个留出合成世界和 200 个独立条目,揭示 persona 提示下目标属性会带动无关选择漂移,并给出注意力干预的机制解释。
研究从各向同性视角考察多项选择问答(MCQA)中决策的几何结构,分析五个开放权重模型后发现存在决策关键转变层,该层伴随各向同性变化、显著表征改变与任务相关簇的出现。这一同步几何行为与下游准确率强相关(r≈0.84),且对提示词变化保持稳健,表明其反映模型行为的通用机制。
作者提出智能体框架 LEAP,让通用基础模型通过与 Lean 编译器持续交互、把复杂问题拆成小单元并结合非形式化蓝图,在 2025 年 Putnam 竞赛中解出全部 12 道题。
推荐理由:LEAP 用智能体框架把通用 LLM 的形式化证明求解率从不足 10% 提到 70%,并给出 Lean-IMO-Bench 与 Putnam 结果。
作者提出 Random Soft Prompts(RSP),完全跳过训练,把从预训练嵌入表均值方差拟合的各向同性高斯中采样的随机嵌入向量序列追加到输入,在多个数学推理基准上达到与优化软提示相当的准确率。
研究团队提出 MonitorBench,用于系统评估大语言模型思维链的可监控性,包含覆盖 7 大类 19 项任务的 1540 个测试实例,并设置两种提示词压力测试。实验显示可监控性受被评估模型、监控模型和任务特征影响,当决策关键因素塑造中间推理过程时更高;压力测试下多数模型可主动降低可监控性,主要出现在推理过程不结构性要求这些因素的任务上。代码已开源。
推荐理由:该基准用 1540 个测试实例和压力测试提示,量化 CoT 可监控性在何种条件下下降,为 AI 控制研究提供可复用的评测入口。
一篇 arXiv 综述梳理了 AI 与法律研究处理法律解释的三条路径:专家系统聚焦法律知识工程,将人类解释精确转入知识库并一致适用;论辩研究刻画解释性论证的结构与辩证互动,以评估解释主张的可接受性;机器学习则借助通用与专用语言模型自动生成解释建议与论证,并正越来越多地部署到法律实践中。
研究提出用变形关系检验大语言模型棋局评估的一致性,包括无兵局面旋转 180 度、左右镜像、换色、相差一步的局面、FEN 与自然语言描述互转以及非法局面。
作者提出 PAC Reasoning,通过构造性能损失的上置信界来确定切换到非思考模式的阈值,从而在无分布假设下保证性能损失有界。在推理基准上的实验显示,该方法能节省计算预算,并将性能损失控制在用户指定的容差内。该工作已被 NeurIPS 2026 接收为 poster。
论文研究语言模型上下文归因中的 leave-one-out(LOO)归因:直接计算 n 个 token 的全部 LOO 值需要 n 次模型评估,作者在稳定性假设下提出草图算法,以 O(√log(1/ε)/ε) 次评估调用、以常数概率将全部 LOO 值估计到与 ε 成正比的误差,并证明匹配的 Ω(√log(1/ε)/ε) 下界。
研究提出 Context Graph,一种异构有向图,将策略、测量、决策与告警组织为可查询的解释层,核心是充当因果交汇点的 Decision-Event 节点。该图基于现有 E2、A1、O1 数据流实例化,在数万节点的图上以亚毫秒级延迟完成合规与诊断查询,并能区分真实因果影响与虚假相关。
RESYNC 让大模型异步运行,由快速路径用新到达的观测更新其最新但已过时的隐状态,并复用未改动的预测头,更新器从冻结模型的表示中学习且不需要任务标签。
研究团队提出免训练加速框架 DRAMA,通过分析多模态扩散大语言模型(dLLM)的注意力张量,发现注意力集中在少量视觉 token 上、且去噪过程中注意力分布很快趋于稳定,据此设计视觉 token 剪枝(SVTP)与自适应停止(SGAS)两种机制。
推荐理由:论文系统测量多模态 dLLM 的注意力冗余,并据此设计免训练加速方案,给出与六个基准的对比结果。
作者在已知真值的玩具模型与合成字典上考察 Elhage 等人的特征维度与带余弦阈值的特征恢复率(FRR),刻画特征维度不连续的位置,并用正则化(ridge)版本给出稳定性边界:ridge leverage score 的变化不超过权重算子范数变化的 3√3/(8√λ) 倍,且该常数无法改进。
推荐理由:论文给出特征维度与特征恢复率在权重扰动下的稳定性边界,并说明独立训练字典间证书难以成立。
研究指出,在硬白化总体目标下,JEPA 对柏拉图表示假说(PRH)的证明因同状态正样本对而失效:诱导的世界核变为恒等映射,每个中心化白化状态函数都是全局最优解,当 d_z-1≥2k 时两个最优解的最佳旋转平方残差可达 2k。唯一性主张仅在 k<d_z-1 时前提不可满足,因而在该区间没有内容;论文四项定量结果中仅剩一个无间隙下界成立。
作者提出用计算代数问题评估 AI 智能体发现和复用结构的能力,这类问题答案可独立验证、结构可系统控制。实验在三种设定下进行:求解独立实例、借助持久记忆求解在线相关实例流、为已知问题族编译可复用的快速求解器;结果显示智能体能在固定预算内扩大可解系统范围,但推理开销有时会超过节省的计算成本,记忆能降低重复求解成本却可能保留次优策略,编译能得到更快的求解器但前期成本较高。
作者系统检验神经元组干预中究竟多少神经元是必要的:对每组选定的 12 个 MLP 神经元穷举全部 4,096 个子集。在 Qwen3-0.6B 的资本二选一任务上,零消融 12 个选定神经元使答案 margin 下降 27%,随机神经元几乎无影响,但用其他问题的激活替换这些神经元也几乎无影响。
推荐理由:研究用穷举子集干预检验神经元组是否必要,发现少数神经元即可翻转答案且效应难以跨链迁移。
作者提出 Fit-LRP 框架,通过在非凸区域(多面体并集)上求解一系列小规模低维线性规划,精确优化仿射界,并可直接增强 LiRPA 与 α,β-CROWN 分支定界(BaB)的最后一步优化。
推荐理由:针对非凸多面体区域上基于盒的界过松问题,给出可嵌入 LiRPA 与 α,β-CROWN 的精确仿射界优化方法,并报告分支与验证时间的量化收益。
研究提出一种不修改已部署模型的可逆 LLM 规则叠加层:LLM 读取梯度提升树的树摘要与 SHAP 归因,针对被低估的特征提出规则,经筛选校准后在线上截断点生效。
作者构建了一个 Transformer,把每处非线性都换成二次检测,输出为 Born 概率,注意力采用 |<q|k>|^2 形式并按行归一化,使各类别概率成为词振幅的多项式,从而用有限求积精确计算积分梯度证据,词贡献之和与类别概率的误差达 10^-13。
ReShap 是一个策略蒸馏框架,将基于 Shapley 的可解释性从低维、二动作场景扩展到高维、多动作环境。它从原始图像观测中提取紧凑特征表示,用 SHAP 做特征归因,并把深度 RL 策略蒸馏为决策树、线性回归或逻辑回归等可解释替代模型。
研究提出 ReasonText 基准与 GTTCA 指标,将需推理才能恢复的文本与局部可恢复文本区分开,评测十二个近期超分模型后发现它们在需推理文本上性能一致且大幅下降。
推荐理由:论文用新基准与识别指标揭示现有超分模型在需推理文本上的系统性盲区,并给出免训练插件方案。
作者提出 Control Reinforcement Learning(CRL),训练策略在每个 token 上选择 SAE 特征进行引导,并输出可解释的干预日志;自适应特征掩码在保持单特征可解释性的同时鼓励发现多样特征。
推荐理由:论文把 SAE 特征选择训练成逐 token 的干预策略,并给出分支点追踪等分析手段,读者可据此判断动态特征干预与静态分析的差异。
作者提出一个 Transformer 错误率模型,认为注意力机制中的小误差累积越过阈值时会产生错误预测,由此推导出任务准确率与复杂度之间的两参数定量关系。这两个参数随提示词和模型变化,可解释为基础噪声率与可预测的错误 token 数量。
推荐理由:论文用两个参数刻画 LLM 在算术与重复任务上的错误率,并在 Gemini 与 DeepSeek R1 上做了实证检验,为理解长任务出错提供了可检验的解释。
研究者提出 Hint-Informed Self-Distillation(HISD),借助外部模型离线生成的 Segment Hints 做 token 级信用分配,仅调整正组相对优势的幅度。
研究团队提出 Nemotron-Labs-Sigma,这是首个大规模(3B/8B)连续扩散语言模型系列,基于可引导的低维 ODE/SDE 潜轨迹,按块做似然优化训练,并利用预训练自回归权重热启动。
推荐理由:论文给出连续扩散语言模型的训练与推理细节,并在数学和代码任务上对比离散扩散与自回归基线。
研究者在 0.6B–8B 参数模型上对数学推理任务中的 on-policy self-distillation(OPSD)做受控实验与 token 级分析,发现教师信号受推理模式对齐和完整教师前缀影响,而非仅由特权语义决定。
推荐理由:文章用受控实验和 token 级分析检验 OPSD 在数学推理上的适用边界,有助于判断这类自蒸馏方法何时失效。
作者提出 AgenticRAG-FP,一个在智能体 RAG 轨迹指定跳注入经认证故障、重跑下游并检验诊断器能否定位注入点的干预式基准。
研究在可精确求解的 lost-sales 库存环境中,用 36,672 条独立重评分请求测试 12 种闭源与开源权重模型配置,考察在模型调用前、调用后或调用内加入精确代码,以及要求模型更多推理,分别能消除哪类错误。
研究提出 Psy-CoT,将角色回应前的推理拆成交互感知、心理共情与逻辑构建三步,让模型依据角色档案动态思考而非模仿表面模式。针对 LLM 奖励模型下通用套话与角色专属表达获得相同梯度的问题,提出 Role-Aware Policy Optimization(RAPO),用档案诱导的熵差异对梯度做非对称加权。
作者提出先验拟合扩散 Transformer(prior-fitted diffusion transformers),经先验拟合网络范式预训练后,在推理时以 in-context 方式执行 Thompson sampling,从而把该方法从高斯过程先验扩展到非高斯先验,包括单峰函数先验等高斯性下无法实现的特性。
推荐理由:论文把 Thompson sampling 从高斯过程先验扩展到非高斯先验,并给出模型规模与预训练步数的缩放规律,读者可据此判断扩散 Transformer 做黑盒优化的可行性。
针对带预测的多选秘书问题,该研究改进了 Fujii 与 Yoshida 的 Learned Kleinberg 算法,通过更精细的分析与重新调整的阈值去掉了竞争损失中的对数因子,竞争比至少为 max{0,1-min{32/√k,4ε}}。当预测精确(ε=0)时,该算法在任意到达顺序下都能达到离线最优。
Fast-dLLM++ 提出免训练的 Fréchet Profile Decoding,从完整排序置信度剖面而非单一最弱 token 置信度中选择并行提交集,是 Fast-dLLM 因子选择器的异质置信度推广,在等置信度情形下可精确还原原规则。
推荐理由:针对扩散 LLM 并行解码的置信度同质假设,提出免训练的选择规则,并在多个基准上给出吞吐与精度的权衡结果。
作者提出 Gated Cropped Attention-Delta steering(GCAD),从系统提示词对自注意力的贡献中提取引导信号,并按 token 门控施加,以缓解 KV-cache 污染导致的累积连贯性退化。