跳到正文
今天11月13日周五121 条
  1. arXiv · cs.CL 计算与语言60

    研究揭示外部信息过度校正会增大 LLM 推理误差

    作者从推理误差(预测答案向量与真实答案向量之差)的角度分析 Transformer,发现外部信息不仅可能校正不足,也可能过度校正,过强的校正反而增大推理误差。校正向量由注意力机制以及外部信息与查询的互补性共同决定,论文据此推导出信息在方向和幅度上都恰当校正的条件,并在 4 个主流 LLM 和 7 个推理基准上通过 ICL、RAG 和 Mem 实验验证理论,同时提出一种理论引导的信息选择方法。

    推荐理由:论文挑战“外部信息越能弥补差距越好”的假设,从推理误差角度给出过度校正反而有害的条件。

  2. arXiv · cs.AI 人工智能58

    Ballad:用 bandit 算法为自动启发式发现调度 LLM

    作者提出 Ballad,一种基于 bandit 的在线算法,在自动启发式发现过程中动态选择调用哪个 LLM。实验覆盖五个 NP-hard 组合优化问题和四个能力与成本不同的模型,Ballad 不仅追平事后最优的单个模型,在部分问题上还超过所有单个模型,同时相比始终使用最强模型最多降低 65.6% 的 API 成本。

  3. arXiv · cs.CL 计算与语言62

    NOPO:面向单边可验证奖励的纯负例策略优化

    作者提出 Negative-Only Policy Optimization(NOPO),把已验证的正例当作无标签样本,仅通过抑制可信的已验证负例来更新策略,以应对单边可验证性(OSV)下正例可能含大量假阳性的问题。

    推荐理由:针对验证器只能可靠判定失败、无法可靠判定成功的场景,提出只利用可信负例更新策略的 RLVR 方法,并在多类验证器与基准上比较。

  4. arXiv · cs.AI 人工智能58

    HDM:让单一模型自行决定是否显式推理的混合决策模型

    作者提出混合决策模型(HDM),由同一冻结骨干网络支持两种模式:要么在一次前向传播中直接给出答案、不生成任何 token,要么在值得付出成本时进行完整的自回归推理,并由轻量自路由模块估计慢速模式相对快速模式的预期增益,仅在增益超过按请求设定的价格 λ 时启用慢速模式。

  5. arXiv · cs.AI 人工智能72

    研究提出两轮对照审计:专家异议下五个模型均未达到选择性纠错阈值

    作者提出一种两轮对照审计,固定问题、证据和模型初始答案,只改变修订情境(中性反思、匿名异议、专家异议),用选择性阈值 a/(1-a) 衡量修订是否真正纠错。

    推荐理由:文章提出两轮对照审计,把“改对”和“改错”分开计量,并给出选择性阈值,便于读者判断模型在专家异议下是否真在纠错。

  6. arXiv · cs.CL 计算与语言71

    研究提出可验证奖励 RL 的诚实阈值判据,预测模型何时学会虚报

    作者研究可验证奖励强化学习中两种奖励如何导致诚实或虚报结局,提出 GRPO 一步使模型更诚实的一阶条件为 p̃r/b>1+κ,其中 p̃ 是检查器接受模型证书的比率,κ 是不可验证判定正确项的拉力。

    推荐理由:文章给出可验证奖励 RL 中诚实与虚报的阈值判据,并用 Datalog 与代码模型实验检验,读者可据此理解奖励设计如何影响模型行为。

  7. arXiv · cs.AI 人工智能42

    SPARC:用代表向量提升光子矩阵乘法精度

    SPARC 通过为每组相似激活向量构造代表向量、以数字方式高精度计算其内积,再把残差内积交给光子加速器,从而降低量化误差与模拟光子噪声的影响。该方法保留原有光子内积计算流程,无需改动硬件即可集成到现有及未来的光子加速器中。在六个代表性 DNN 模型上的实验显示,该方法能提升多种网络架构与应用领域的推理精度。

  8. arXiv · cs.AI 人工智能62

    研究:大语言模型在数学证明中形成独特引用风格

    研究让三个大语言模型独立重证欧几里得《几何原本》全部 465 个命题,并与人类证明基线比较引用选择。结果显示 AI 证明之间平均 Jaccard 相似度约 0.68,接近 AI 与人类证明之间约 0.37 的两倍,且跨运行分类一致性较高。约 40% 的 AI 引用指向定义、公理和公设等基础元素,人类证明中这一比例仅 13%,作者将这种倾向称为“从地基构建”。

    推荐理由:研究用 Jaccard 相似度和复杂网络分析对比 AI 与人类证明的引用结构,给出可量化的风格差异。

  9. arXiv · cs.AI 人工智能65

    HeMeR:通过结构化 KV 复用为具身智能体做异构记忆对账

    HeMeR 是一个面向具身智能体的推理框架,在声明式、程序式和工作记忆动态更新时只对受影响的 KV 状态做对账,保留未变内容的 KV 状态,避免全量重算。在 ALFWorld、Habitat 和真实机器人部署上评测,真实场景任务成功率为 83.20%,相比 MemRL 将单步推理时间从 2.94 秒降至 1.87 秒。该工作已被 NeurIPS 2026 接收为 Oral。

    推荐理由:针对异构记忆模块各自独立访问导致 KV cache 全量重算的问题,给出按内容更新做 KV 对账的推理框架,并附真实机器人部署结果。

  10. arXiv · cs.AI 人工智能47

    MCDC:面向长时程规划的边缘保持耦合扩散组合方法

    研究者提出免训练的推理方法 MCDC,通过为各轨迹块构造耦合高斯初始化噪声来协调组合式扩散规划器,在保持每块边缘分布仍为标准高斯的同时让相邻块噪声正相关。该方法证明了边缘保持性,并在 OGBench 长时程拼接任务上稳定优于独立采样,推理时间几乎不变,相比基于搜索的组合方法取得更好的成功率—成本权衡。

  11. arXiv · cs.CL 计算与语言62

    daVinci-Prover:面向形式化定理证明的 Agent 原生中间训练

    研究团队提出 daVinci-Prover,用 33.7B token 的 Agent 原生中间训练语料(覆盖分解、搜索、自验证与修订)加约 36K 条验证器接地的智能体轨迹做监督微调,在 MiniF2F、FATE-M 和 ProofNet 上比同规模 Qwen3-8B 仅 SFT 基线平均提升 13.7 分。

    推荐理由:论文给出 33.7B token 的中间训练数据配方与 Lean 验证器交互框架,并在三个基准上与仅做 SFT 的基线对比。

  12. arXiv · cs.CL 计算与语言62

    研究审计 on-policy 自蒸馏:特权信息未必带来特权指导

    作者以数学任务为场景,在三个规模的 Qwen3 上审计 on-policy 自蒸馏(OPSD)的四个阶段:来源、编码、传递与表达。结果显示,带解答的教师能解出难题并纠正学生错误,但并不能可靠识别错误,其 token 目标也不偏向正确轨迹;重复训练只是让学生能力范围内的成功更频繁,学到的纠错也未稳定体现在自由生成中。

    推荐理由:作者把特权信息的作用拆成四个阶段逐一审计,并给出问题-only 教师可匹敌甚至超过带解答教师的对照结果。

  13. arXiv · cs.AI 人工智能60

    研究:问题改写何时能提升大语言模型解题表现

    研究测试分解、类型化改写、概念精简三类保持语义与答案不变的问题改写,在 8 个数学、逻辑与代码基准和 8 个模型上统一使用链式推理提示词。事后挑选最佳改写的 oracle 平均提升准确率 +27.6%,但单一改写并非对所有问题有效,错配改写会降低表现;从一组问题学到的固定规则在它选择改写的问题上提升 +11.0%,而盲目改写则下降 5.6%。

    推荐理由:研究区分三类问题改写方式,并给出改写与问题类型匹配的经验规律,可供设计提示词策略时参考。

  14. arXiv · cs.AI 人工智能42

    PreG:用前缀引导采样提升并行测试时扩展的效率

    研究提出 Prefix-Guided Sampling(PreG),先为每个候选生成短前缀,用模型内部置信度打分排序,再只补全最有希望的路径,从而减少 token 消耗。理论分析表明在固定算力预算下 PreG 能扩大决策边界间隔,实验中在多个基准上稳定优于标准并行 TTS 方法,并显著提升 token 效率、降低总体计算量。

  15. arXiv · cs.AI 人工智能72

    多模态训练让纯文本推理出现视觉式思维:Chameleon-7B 消融致 BBH navigate 掉 27.6 个百分点

    研究者在 6 个模型家族、10 种多模态配置上做因果消融,发现多模态训练会让纯文本推理调用视觉语言训练引入的表征,作者称之为视觉式思维(EVT)。

    推荐理由:研究用因果消融在 6 个模型家族、10 种多模态配置上分离出视觉训练对纯文本推理的贡献,并给出可复用的诊断方法。

  16. arXiv · cs.CL 计算与语言60

    SO-Arena:覆盖 11 个领域评测 System One 模型的能力谱系与决策可靠性

    作者提出 SO-Arena 基准,在 11 个领域和五类能力上评测 System One 模型的能力谱系与决策可靠性,并通过受控选项集变化下的决策稳定性和无有效选项时的缺失答案识别两项指标衡量可靠性。对 21 个模型的评测显示,扩展规模与额外推理带来的收益在不同领域差异明显,表现最好的 System One 模型在可靠性上仅排第七。项目页面已公开,论文共 32 页、10 张图、7 张表。

    推荐理由:该基准把能力广度与决策可靠性分开测量,21 个模型的评测显示整体表现强并不等于决策可靠。

  17. arXiv · cs.CL 计算与语言52

    研究提出四种机制观测视角,重新梳理大语言模型不确定性量化方法

    作者提出结构、表征、分布和语义四种机制观测视角,通过残差流把四者联系起来,并按各自携带的信息量排序,为针对不同目标选择不确定性量化方法提供原则。文章用这四个视角梳理现有方法,并区分评估目标、标准和指标以厘清不同的不确定性量化评估协议,最后指出将不确定性估计与模型内部计算及下游使用相连接的开放问题。

  18. arXiv · cs.AI 人工智能78

    AutoAssumption 将 89 个 ML 系统算法写成 Lean 证明图,通过放松假设搜索出新算法

    AutoAssumption 把 KV-cache 淘汰、权重剪枝和投机解码的 89 个算法形式化为带显式假设的 Lean 证明图,每次放松一个假设后重新推导、重新证明并生成代码。

    推荐理由:把算法写成 Lean 证明图,让 LLM 在显式假设空间里搜索,为 ML 系统算法设计提供了一条可审计的路径。

  19. arXiv · cs.CL 计算与语言51

    QDRAG 用查询分解提升 RAG 引用忠实度与泛化能力

    作者提出可溯源 RAG 框架 QDRAG,先把输入问题拆成原子子问题以识别隐含实体,再用重排序器剪除上下文干扰以抑制下游过度引用,并给出 QD-C 与 QD-R 两种零样本分解方式。在四个多模态问答基准上,QDRAG 在域内与域外测试均优于所有基线,甚至超过 Gemini-Pro;作者还发现直接在查询分解任务上微调比在下游 RAGQ 任务上微调泛化性更好。该工作已被 AAAI 2026 接收。

  20. arXiv · cs.AI 人工智能66

    研究:人类与 AI 在《The Mind》卡牌游戏中如何用时间线索协调

    研究团队用禁止明示沟通的合作卡牌游戏 The Mind 考察人类与 AI 如何仅凭时间间隔进行社会协调,测试了 150 名人类、computer-use agents(CUAs)和标准文本提示 LLM。

    推荐理由:研究用禁止明示沟通的卡牌游戏对比人类与两类 AI 的时间信号协调能力,揭示模型难以随对局适应伙伴。

  21. arXiv · cs.AI 人工智能40

    语义先验应在何时介入部分可识别的因果发现?

    研究在部分可识别的因果发现中,LLM 语义信息应何时介入:实验显示语义定向优于随机定向,但针对不稳定边的查询分配相较匹配随机分配并无确立优势;所测试的准入证书在现有校准任务下无法支持非平凡准入,且学习到的参考仅在 80 个计划任务中的 3 个包含真实 DAG。

  22. arXiv · cs.AI 人工智能78

    Together AI 提出 Together Compiler,面向 AI 推理的持续编译系统

    Together AI 提出 Together Compiler(TKCC),用分层常驻引擎把引擎启动开销与前向计算解耦,并用成本模型选择并行配置来启动优化,以缓解持续编译中测量吞吐与保真度的取舍。

    推荐理由:TKCC 用分层常驻引擎和成本模型缓解编译吞吐与保真度之间的取舍,并给出与手写 Megakernels 及开源引擎的对比数据。

  23. arXiv · cs.CL 计算与语言42

    面向更优法律推理 LLM:JurisCoT-SFT 与 Lifecycle-Aware Backtrackable Policy Optimization 的信号平衡与奖励调度

    研究提出两阶段训练框架提升法律领域 LLM 的推理能力:Stage I 的 JurisCoT-SFT 用长度归一化双目标平衡推理链与最终答案的学习信号,Stage II 的 Lifecycle-Aware Backtrackable Policy Optimization 按辅助奖励信号对最终评估目标的影响动态评估并淘汰之。

  24. arXiv · cs.CL 计算与语言52

    Janus-MOPD:追踪多教师在线策略蒸馏中学生模型的学习动态

    研究提出 Janus-MOPD 框架,从几何表征角度追踪大推理模型在多教师在线策略蒸馏(MOPD)中如何内部学习并整合多域能力。时间维度上,学生模型呈现 Expansion-Consolidation-Optimization(ECO)三阶段学习动态,并存在学习效率与扩展性上的固有局限;空间维度上,作者归纳出域内与跨域两类子空间锁定,解释其学习方向明确但存在跨域冲突。

  25. Papers with Code · arXiv cs.AI47

    SPARC:利用代表向量提升光子矩阵乘法精度

    SPARC 通过为每组相似激活向量构造代表向量、用数字高精度计算其内积,并把残差内积卸载到光子加速器,从而降低量化误差与模拟光子噪声的影响。该方法保留原有光子内积计算流水线,无需修改硬件即可集成到现有及未来的光子加速器中。在六个代表性 DNN 模型上的实验显示,该方法可提升多种网络架构与应用领域的推理精度。

  26. Papers with Code · arXiv cs.AI78

    CRAM 用经典能量模型做推理,训练速度比循环模型快至少 1000 倍

    作者提出 CRAM,即学习版的 Hopfield & Tank 能量模型,在单张 GPU 上训练 42 ms 后解出 99.996% 的 Sudoku-Extreme 测试题,训练 132 ms 后解出 100% 的 Maze-Unique 测试题,训练速度比循环模型快至少 1000 倍。

    推荐理由:论文用学习到的能量函数替代循环模型做推理,给出训练与推理算力的数量级对比,并提醒 Sudoku、Maze 类基准的可扩展性局限。