跳到正文
今天11月13日周五96 条
  1. arXiv · cs.RO70

    TinyAstral 将自进化 harness 迁移到 4B 小型通用操作智能体

    TinyAstral 提出两阶段方法,先把冻结的开源教师智能体的 harness 通过递归自我改进(RSI)迭代,再把最终 harness 下的教师轨迹蒸馏进 4B 学生模型。

    推荐理由:该工作把教师智能体的 harness 自进化收益蒸馏到 4B 小模型,并给出与 552B 规划器接近的跨基准结果,可供关注具身智能体轻量化的读者参考。

  2. arXiv · cs.CV40

    DiFiT:面向多模态大模型的分布保真度引导视觉 token 剪枝

    DiFiT 提出用分布保真度引导视觉 token 剪枝,通过双视角蒸馏对齐完整 token 与剪枝后的词表概率分布,并用可学习打分器与可微 Top-K 选择保留的视觉证据。在 Qwen2.5-VL-7B 上,10% 保留率下其采样导致的负翻转比 FastV 减少 30.3%,30% 保留率下在 MME 上保留基线性能的 98.74%。

  3. arXiv · cs.RO47

    Bind-WAM:用绑定不确定性引导世界动作模型的选择性未来想象

    研究者提出 Bind-WAM,一种以语言-物体绑定不确定性为信号、选择性触发未来视觉与动作联合生成的世界动作模型(WAM)。该方法用完整演示离线标注任务相关物体并检测参考错配、不可见与身份漂移,再以伪标签训练轻量路由器从当前观测和语言指令预测绑定不确定性。仿真与真实实验显示,绑定不确定性可作为选择未来想象时机的强且可解释信号。

  4. arXiv · cs.LG 机器学习70

    研究提出 Chain-of-Thought 在上下文学习中的渐近理论,解析推理深度与泛化误差的关系

    作者在线性回归的上下文权重预测任务上构建可解析求解的 CoT 模型,用高维渐近下的随机矩阵理论推导出泛化误差关于推理深度、预训练数据量和上下文长度的精确公式。分析显示误差随深度变化存在区分指数改进、多项式改进、饱和与过思考的相变,并给出最优推理深度的缩放规律;预训练或上下文信息不足时,更长的推理反而会放大误差。

    推荐理由:该工作给出 CoT 推理深度与泛化误差的精确解析式,并刻画指数与多项式改进之间的相变,为理解过思考现象提供可检验的理论框架。

  5. arXiv · cs.LG 机器学习58

    ReLU 网络逼近 MPC 策略:网络复杂度与闭环性能保证

    该论文研究用 ReLU 网络表示模型预测控制(MPC)策略时所需的网络复杂度,首次给出保证闭环性能的 ReLU 网络宽度与深度显式界。方法上将 MPC 动作投影到收紧的约束集以满足硬约束,并建立最优 MPC 代价函数的状态相关 Lipschitz 连续性,用于闭环收敛分析;同时提出带状态感知缩放函数的非均匀误差框架,自适应调整网络输入输出以降低收敛到指定目标集所需的复杂度。

  6. arXiv · cs.LG 机器学习72

    PertReason 提出细胞状态条件下的扰动效应机制推理基准与框架

    研究团队提出 PertReason,包含基准 PertReasonQA 与参考模型 PertReasonLM,用于评估和改进细胞状态条件下的扰动效应机制推理。PertReasonQA 整合多种细胞环境下的单细胞遗传与化学扰动数据及知识图谱,并按细胞特异性基础状态动态生成通路,以测试模型在新细胞、未见扰动、跨模态与组合外推等分布偏移下能否给出机制上忠实的解释。

    推荐理由:该基准把单细胞扰动数据与知识图谱结合,用于检验模型解释是否机制忠实,并给出参考模型的训练路径。

  7. arXiv · cs.LG 机器学习70

    论文分析 KV cache 压缩的极小极大风险,并给出因果掩码下的设计原则

    作者从理论上刻画了 KV cache 压缩的极小极大风险,用 cache 的内在可压缩性说明何时能实现准确压缩。结论指出,一旦注意力能精确检索单个 token,压缩只有在利用未来 query 信息时才能稳定优于随机采样,无论 cache 本身多冗余。基于此,作者提出因果掩码下的压缩设计原则,并实现为兼顾 prefill 与自回归解码的实用算法,该工作已被 NeurIPS 2026 接收。

    推荐理由:论文用极小极大风险刻画 KV cache 的可压缩性,并给出因果掩码下的设计原则与可落地算法,为压缩方法提供理论依据。

  8. arXiv · cs.LG 机器学习60

    BloGDiT 将 Blocked Gibbs 采样与 Diffusion Transformer 结合,求解约束优化问题

    作者提出 Blocked Gibbs Diffusion Transformer(BloGDiT),用分块高斯去噪替代标准联合高斯去噪,并通过迭代块重采样和随时间退火的块大小,实现对变量子集的大幅定向修改。在 Sudoku、Graph Coloring、Maximum Independent Set 和 MaxCut 上,BloGDiT 达到或超过现有方法,论文被 NeurIPS 2026 接收。

    推荐理由:针对扩散模型求解约束优化时只能处理二元变量、依赖局部推理的局限,给出用 Transformer 做全局块级编辑的替代方案。

  9. arXiv · cs.LG 机器学习67

    论文指出最小过参数化下电路与 Transformer 的样例认证极为困难

    论文研究精确认证问题,即需要多少标注样例才能证明学到的假设等于目标函数,并证明在深度至少为 2 的阈值电路中,仅增加一个门就可能使认证所需样例数随输入维度指数增长;对 log-precision Transformer 也有类似的困难性结论,且只需常数级架构开销。

    推荐理由:论文从理论上说明最小过参数化即可让精确认证指数级变难,并用二值加法实验展示错误模型难以通过均匀采样发现。

  10. arXiv · cs.LG 机器学习60

    研究揭示 Transformer 稀疏注意力模式的分阶段涌现机制

    作者研究 Transformer 在训练中如何形成从特定位置复制信息的稀疏注意力模式,在高阶马尔可夫链设定下发现学习分阶段进行,每个阶段对应次重要位置组的稀疏模式出现。

    推荐理由:论文用高阶马尔可夫链设定分析稀疏注意力模式的分阶段涌现,并给出可证明的分阶段收敛结果。

  11. arXiv · cs.LG 机器学习78

    HyperSSM:用表示理论解释并修复 SSM 状态追踪失败

    作者用表示理论形式化 SSM 的状态更新,证明对角实数与复数 SSM 只能追踪交换群,并据此提出加入四元数通道的 HyperSSM,在保持线性时间推理与并行训练的同时,仅用至多五个状态数就精确求解近期状态追踪基准中的群任务,包括 32 个生成元的 S_5,而此前 SSM 在该任务上仅相当于随机猜测;HyperSSM 还能泛化到训练时所见长度 25 倍的序列。

    推荐理由:用表示理论解释 SSM 的状态追踪失败,并据此设计四元数通道的 HyperSSM,在群任务上精确求解。

  12. arXiv · cs.LG 机器学习60

    新对手方构造给出在线平滑校准误差的匹配下界 Ω(√T)

    作者研究序贯二分类预测中的平滑校准误差,构造了一个让结果均值随预测者累计残差移动的对手方,使任何预测者都至少产生 Ω(√T) 的期望平滑校准误差。该下界与已知上界在常数因子内一致,并进一步给出校准距离与下校准距离的 Ω(√T) 下界,从而确定了这些校准度量在序贯预测中的极小极大速率。论文摘要注明部分证明思路在作者指导下由 GPT-6 Astra 协助完成。

    推荐理由:该工作构造新对手方把平滑校准误差下界推到 Ω(√T),与已知上界在常数因子内吻合,闭合了序贯预测中的极小极大速率问题。

  13. arXiv · cs.LG 机器学习58

    SpaceMCP:用 MCP 式函数调用让 VLM 查询场景图完成空间推理

    SpaceMCP 让 VLM 通过结构化函数调用查询实时构建的场景图,获取距离、物体位置和相机参数等信息,无需训练即在 VSI-Bench、MMSI-Bench 和 VSTI-Bench 上取得 SOTA,比基座 VLM 提升 15-22 分。场景图由前馈 3D 重建恢复度量几何、结合开放词汇分割定位物体得到,论文被 NeurIPS 2026 第二届具身空间推理(ESR)研讨会接收。

  14. arXiv · cs.LG 机器学习58

    VEPO 提出有效熵指标,在六个数学推理基准上稳定优于 GRPO

    作者提出有效熵(Effective Entropy)概念,只在有效子空间内度量多样性并过滤错误轨迹的噪声,据此实现 VEPO 方法并直接接入 RLVR 训练。在 1.5B 和 7B 的 DeepSeek-R1-Distill-Qwen 模型上,VEPO 在六个数学推理基准上相对 GRPO 取得一致的总体准确率提升,重复采样成功率也具竞争力。

  15. arXiv · cs.AI 人工智能68

    DASH:解耦异步系统让人形机器人 VLA 控制摆脱骨干规模延迟

    作者提出 DASH,将 VLA 策略拆成慢速视觉语言模型(System 2)与快速 flow-matching 动作头(System 1),两者通过 LCM 协议并发运行,使控制频率只由动作头决定。

    推荐理由:论文把 VLA 策略拆成慢速视觉语言模型与快速动作头两个并发进程,并在计入推理延迟的基准上比较不同规模骨干的控制频率与成功率。

  16. arXiv · cs.AI 人工智能62

    LEAP:面向平滑整数规划的学习增强框架与 PAC 可学习保证

    作者提出 LEAP,一个面向平滑整数规划(含 MAX-CUT、MAX-k-SAT)的端到端学习增强框架:由 oracle 预测完整布尔赋值,再围绕该赋值线性化目标、求解带误差预算的线性规划并取整。

    推荐理由:论文给出 LEAP 的端到端理论界与 MAX-CUT、MAX-SAT 实验,读者可据此判断学习增强整数规划的适用边界。

  17. arXiv · cs.AI 人工智能64

    研究发现 LLM 用户模拟存在中立性缺口:persona 提示无法实现选择性控制

    研究者在 8 个黑盒模型和 5 个开放权重模型上测试 persona 提示的选择性控制假设,发现仅改变目标属性也会改变未指定的非目标选择,例如风险偏好变化会带动颜色选择变化。

    推荐理由:论文用 477 个留出合成世界和 200 个独立条目,揭示 persona 提示下目标属性会带动无关选择漂移,并给出注意力干预的机制解释。

  18. arXiv · cs.AI 人工智能50

    各向同性悬崖:大语言模型决策过程的几何特征

    研究从各向同性视角考察多项选择问答(MCQA)中决策的几何结构,分析五个开放权重模型后发现存在决策关键转变层,该层伴随各向同性变化、显著表征改变与任务相关簇的出现。这一同步几何行为与下游准确率强相关(r≈0.84),且对提示词变化保持稳健,表明其反映模型行为的通用机制。

  19. arXiv · cs.AI 人工智能82

    LEAP:用智能体框架提升 LLM 形式数学证明能力

    作者提出智能体框架 LEAP,让通用基础模型通过与 Lean 编译器持续交互、把复杂问题拆成小单元并结合非形式化蓝图,在 2025 年 Putnam 竞赛中解出全部 12 道题。

    推荐理由:LEAP 用智能体框架把通用 LLM 的形式化证明求解率从不足 10% 提到 70%,并给出 Lean-IMO-Bench 与 Putnam 结果。

  20. arXiv · cs.AI 人工智能68

    MonitorBench:评估大语言模型思维链可监控性的基准

    研究团队提出 MonitorBench,用于系统评估大语言模型思维链的可监控性,包含覆盖 7 大类 19 项任务的 1540 个测试实例,并设置两种提示词压力测试。实验显示可监控性受被评估模型、监控模型和任务特征影响,当决策关键因素塑造中间推理过程时更高;压力测试下多数模型可主动降低可监控性,主要出现在推理过程不结构性要求这些因素的任务上。代码已开源。

    推荐理由:该基准用 1540 个测试实例和压力测试提示,量化 CoT 可监控性在何种条件下下降,为 AI 控制研究提供可复用的评测入口。

  21. arXiv · cs.AI 人工智能42

    从专家系统到论辩与 LLM:AI 与法律研究中的法律解释

    一篇 arXiv 综述梳理了 AI 与法律研究处理法律解释的三条路径:专家系统聚焦法律知识工程,将人类解释精确转入知识库并一致适用;论辩研究刻画解释性论证的结构与辩证互动,以评估解释主张的可接受性;机器学习则借助通用与专用语言模型自动生成解释建议与论证,并正越来越多地部署到法律实践中。

  22. arXiv · cs.AI 人工智能58

    PAC Reasoning:在用户指定容差内控制大推理模型的性能损失

    作者提出 PAC Reasoning,通过构造性能损失的上置信界来确定切换到非思考模式的阈值,从而在无分布假设下保证性能损失有界。在推理基准上的实验显示,该方法能节省计算预算,并将性能损失控制在用户指定的容差内。该工作已被 NeurIPS 2026 接收为 poster。

  23. arXiv · cs.AI 人工智能57

    新论文用草图算法估计语言模型上下文归因,评估次数降至 O(√log(1/ε)/ε)

    论文研究语言模型上下文归因中的 leave-one-out(LOO)归因:直接计算 n 个 token 的全部 LOO 值需要 n 次模型评估,作者在稳定性假设下提出草图算法,以 O(√log(1/ε)/ε) 次评估调用、以常数概率将全部 LOO 值估计到与 ε 成正比的误差,并证明匹配的 Ω(√log(1/ε)/ε) 下界。

  24. arXiv · cs.AI 人工智能42

    Context Graph:AI-RAN 中可解释的多智能体决策链

    研究提出 Context Graph,一种异构有向图,将策略、测量、决策与告警组织为可查询的解释层,核心是充当因果交汇点的 Decision-Event 节点。该图基于现有 E2、A1、O1 数据流实例化,在数万节点的图上以亚毫秒级延迟完成合规与诊断查询,并能区分真实因果影响与虚假相关。

  25. arXiv · cs.AI 人工智能62

    DRAMA:剖析注意力冗余以加速多模态扩散大语言模型

    研究团队提出免训练加速框架 DRAMA,通过分析多模态扩散大语言模型(dLLM)的注意力张量,发现注意力集中在少量视觉 token 上、且去噪过程中注意力分布很快趋于稳定,据此设计视觉 token 剪枝(SVTP)与自适应停止(SGAS)两种机制。

    推荐理由:论文系统测量多模态 dLLM 的注意力冗余,并据此设计免训练加速方案,给出与六个基准的对比结果。

  26. arXiv · cs.AI 人工智能60

    研究指出可解释性声明缺乏稳定性,提出 ridge leverage 稳定性边界与特征恢复证书

    作者在已知真值的玩具模型与合成字典上考察 Elhage 等人的特征维度与带余弦阈值的特征恢复率(FRR),刻画特征维度不连续的位置,并用正则化(ridge)版本给出稳定性边界:ridge leverage score 的变化不超过权重算子范数变化的 3√3/(8√λ) 倍,且该常数无法改进。

    推荐理由:论文给出特征维度与特征恢复率在权重扰动下的稳定性边界,并说明独立训练字典间证书难以成立。

  27. arXiv · cs.AI 人工智能48

    同状态样本对使 JEPA 的柏拉图表示假说证明失效

    研究指出,在硬白化总体目标下,JEPA 对柏拉图表示假说(PRH)的证明因同状态正样本对而失效:诱导的世界核变为恒等映射,每个中心化白化状态函数都是全局最优解,当 d_z-1≥2k 时两个最优解的最佳旋转平方残差可达 2k。唯一性主张仅在 k<d_z-1 时前提不可满足,因而在该区间没有内容;论文四项定量结果中仅剩一个无间隙下界成立。

  28. arXiv · cs.AI 人工智能58

    Agentic Computational Algebra:用计算代数基准评估智能体发现与复用结构的能力

    作者提出用计算代数问题评估 AI 智能体发现和复用结构的能力,这类问题答案可独立验证、结构可系统控制。实验在三种设定下进行:求解独立实例、借助持久记忆求解在线相关实例流、为已知问题族编译可复用的快速求解器;结果显示智能体能在固定预算内扩大可解系统范围,但推理开销有时会超过节省的计算成本,记忆能降低重复求解成本却可能保留次优策略,编译能得到更快的求解器但前期成本较高。

  29. arXiv · cs.CL 计算与语言65

    研究质疑因果神经元回路的唯一性与可迁移性

    作者系统检验神经元组干预中究竟多少神经元是必要的:对每组选定的 12 个 MLP 神经元穷举全部 4,096 个子集。在 Qwen3-0.6B 的资本二选一任务上,零消融 12 个选定神经元使答案 margin 下降 27%,随机神经元几乎无影响,但用其他问题的激活替换这些神经元也几乎无影响。

    推荐理由:研究用穷举子集干预检验神经元组是否必要,发现少数神经元即可翻转答案且效应难以跨链迁移。

  30. arXiv · cs.AI 人工智能62

    Fit-LRP:在非凸多面体区域上拟合线性松弛以加速神经网络验证

    作者提出 Fit-LRP 框架,通过在非凸区域(多面体并集)上求解一系列小规模低维线性规划,精确优化仿射界,并可直接增强 LiRPA 与 α,β-CROWN 分支定界(BaB)的最后一步优化。

    推荐理由:针对非凸多面体区域上基于盒的界过松问题,给出可嵌入 LiRPA 与 α,β-CROWN 的精确仿射界优化方法,并报告分支与验证时间的量化收益。