跳到正文
今天11月13日周五117 条
  1. arXiv · cs.CV42

    MARS:面向多源视觉推理的单源锚定优势归一化框架

    针对多源视觉输入中信息增益与干扰难以区分的问题,研究者提出单源锚定多源推理框架 MARS,将单源奖励作为动态锚点,把多源融合带来的信息增益纳入优势归一化,在 RLVR 中自适应强化源间互促并抑制噪声冲突。在 GRPO 和 DAPO 上跨多个数据集分别取得 3.2% 和 4.9% 的性能提升,代码已开源,论文被 NeurIPS 2026 接收。

  2. arXiv · cs.CV58

    OptDiff:面向逆问题的扩散优化器原则化设计

    研究提出原则化重参数化方法,使同一组推理超参数(噪声调度、后验采样权重)可跨多个逆问题复用而无需重新调参;并在 RED-diff 框架上构建 OptDiff 流程,将后验采样转化为优化问题以接入凸优化工具加速推理。在图像重建、去模糊和超分辨率实验中,该方法取得明显加速并提升图像质量。

  3. arXiv · cs.CV47

    Diff-Aid:面向整流文本到图像生成的推理时自适应交互去噪

    Diff-Aid 是一种轻量级推理时方法,可跨 Transformer 模块和去噪时间步自适应调整每个 token 的文本与图像交互。作为即插即用模块,它在 SD 3.5 和 FLUX 基线上于提示词遵循、视觉质量和人类偏好等指标上取得一致提升,并可接入风格 LoRA、可控生成与零样本编辑。该工作入选 NeurIPS2026,代码与模型将开源。

  4. arXiv · cs.RO70

    TinyAstral 将自进化 harness 迁移到 4B 小型通用操作智能体

    TinyAstral 提出两阶段方法,先把冻结的开源教师智能体的 harness 通过递归自我改进(RSI)迭代,再把最终 harness 下的教师轨迹蒸馏进 4B 学生模型。

    推荐理由:该工作把教师智能体的 harness 自进化收益蒸馏到 4B 小模型,并给出与 552B 规划器接近的跨基准结果,可供关注具身智能体轻量化的读者参考。

  5. arXiv · cs.RO42

    如何在管理 LLM 易错性的同时最大化其效用

    一篇综述探讨系统如何随 LLM 性能证据的积累动态调整对其的依赖,以在最大化效用的同时管理其易错性。文章指出,可依据 LLM 的角色与贡献类型估计其可靠性,再用决策理论、估计和在线学习等经典方法把估计转化为依赖决策,从而减少 LLM 错误对系统的影响。对于罕见但后果严重的错误,需借助独立验证机制阻止其被执行;缺乏该机制时,按可靠性估计调整依赖也能将风险控制在界内。

  6. arXiv · cs.RO58

    CGEM:用 critic 筛选事件记忆,解决长程操作中的决策歧义

    作者提出 CGEM,用 critic 估计事件对最终成功概率的影响,把大幅提升记为进展、大幅下降记为失败,失败记录在对应子任务完成后丢弃。在含十个子任务的诊断环境中,CGEM 成功率为 88.0%,而 36 步观测窗口和基于运动学的事件记忆均为 0.0%,去掉失败记录后成功率降至 1.7%。

  7. arXiv · cs.CV40

    DiFiT:面向多模态大模型的分布保真度引导视觉 token 剪枝

    DiFiT 提出用分布保真度引导视觉 token 剪枝,通过双视角蒸馏对齐完整 token 与剪枝后的词表概率分布,并用可学习打分器与可微 Top-K 选择保留的视觉证据。在 Qwen2.5-VL-7B 上,10% 保留率下其采样导致的负翻转比 FastV 减少 30.3%,30% 保留率下在 MME 上保留基线性能的 98.74%。

  8. arXiv · cs.RO47

    Bind-WAM:用绑定不确定性引导世界动作模型的选择性未来想象

    研究者提出 Bind-WAM,一种以语言-物体绑定不确定性为信号、选择性触发未来视觉与动作联合生成的世界动作模型(WAM)。该方法用完整演示离线标注任务相关物体并检测参考错配、不可见与身份漂移,再以伪标签训练轻量路由器从当前观测和语言指令预测绑定不确定性。仿真与真实实验显示,绑定不确定性可作为选择未来想象时机的强且可解释信号。

  9. arXiv · cs.LG 机器学习70

    研究提出 Chain-of-Thought 在上下文学习中的渐近理论,解析推理深度与泛化误差的关系

    作者在线性回归的上下文权重预测任务上构建可解析求解的 CoT 模型,用高维渐近下的随机矩阵理论推导出泛化误差关于推理深度、预训练数据量和上下文长度的精确公式。分析显示误差随深度变化存在区分指数改进、多项式改进、饱和与过思考的相变,并给出最优推理深度的缩放规律;预训练或上下文信息不足时,更长的推理反而会放大误差。

    推荐理由:该工作给出 CoT 推理深度与泛化误差的精确解析式,并刻画指数与多项式改进之间的相变,为理解过思考现象提供可检验的理论框架。

  10. arXiv · cs.LG 机器学习58

    ReLU 网络逼近 MPC 策略:网络复杂度与闭环性能保证

    该论文研究用 ReLU 网络表示模型预测控制(MPC)策略时所需的网络复杂度,首次给出保证闭环性能的 ReLU 网络宽度与深度显式界。方法上将 MPC 动作投影到收紧的约束集以满足硬约束,并建立最优 MPC 代价函数的状态相关 Lipschitz 连续性,用于闭环收敛分析;同时提出带状态感知缩放函数的非均匀误差框架,自适应调整网络输入输出以降低收敛到指定目标集所需的复杂度。

  11. arXiv · cs.LG 机器学习72

    PertReason 提出细胞状态条件下的扰动效应机制推理基准与框架

    研究团队提出 PertReason,包含基准 PertReasonQA 与参考模型 PertReasonLM,用于评估和改进细胞状态条件下的扰动效应机制推理。PertReasonQA 整合多种细胞环境下的单细胞遗传与化学扰动数据及知识图谱,并按细胞特异性基础状态动态生成通路,以测试模型在新细胞、未见扰动、跨模态与组合外推等分布偏移下能否给出机制上忠实的解释。

    推荐理由:该基准把单细胞扰动数据与知识图谱结合,用于检验模型解释是否机制忠实,并给出参考模型的训练路径。

  12. arXiv · cs.LG 机器学习70

    论文分析 KV cache 压缩的极小极大风险,并给出因果掩码下的设计原则

    作者从理论上刻画了 KV cache 压缩的极小极大风险,用 cache 的内在可压缩性说明何时能实现准确压缩。结论指出,一旦注意力能精确检索单个 token,压缩只有在利用未来 query 信息时才能稳定优于随机采样,无论 cache 本身多冗余。基于此,作者提出因果掩码下的压缩设计原则,并实现为兼顾 prefill 与自回归解码的实用算法,该工作已被 NeurIPS 2026 接收。

    推荐理由:论文用极小极大风险刻画 KV cache 的可压缩性,并给出因果掩码下的设计原则与可落地算法,为压缩方法提供理论依据。

  13. arXiv · cs.LG 机器学习60

    BloGDiT 将 Blocked Gibbs 采样与 Diffusion Transformer 结合,求解约束优化问题

    作者提出 Blocked Gibbs Diffusion Transformer(BloGDiT),用分块高斯去噪替代标准联合高斯去噪,并通过迭代块重采样和随时间退火的块大小,实现对变量子集的大幅定向修改。在 Sudoku、Graph Coloring、Maximum Independent Set 和 MaxCut 上,BloGDiT 达到或超过现有方法,论文被 NeurIPS 2026 接收。

    推荐理由:针对扩散模型求解约束优化时只能处理二元变量、依赖局部推理的局限,给出用 Transformer 做全局块级编辑的替代方案。

  14. arXiv · cs.LG 机器学习67

    论文指出最小过参数化下电路与 Transformer 的样例认证极为困难

    论文研究精确认证问题,即需要多少标注样例才能证明学到的假设等于目标函数,并证明在深度至少为 2 的阈值电路中,仅增加一个门就可能使认证所需样例数随输入维度指数增长;对 log-precision Transformer 也有类似的困难性结论,且只需常数级架构开销。

    推荐理由:论文从理论上说明最小过参数化即可让精确认证指数级变难,并用二值加法实验展示错误模型难以通过均匀采样发现。

  15. arXiv · cs.LG 机器学习60

    研究揭示 Transformer 稀疏注意力模式的分阶段涌现机制

    作者研究 Transformer 在训练中如何形成从特定位置复制信息的稀疏注意力模式,在高阶马尔可夫链设定下发现学习分阶段进行,每个阶段对应次重要位置组的稀疏模式出现。

    推荐理由:论文用高阶马尔可夫链设定分析稀疏注意力模式的分阶段涌现,并给出可证明的分阶段收敛结果。

  16. arXiv · cs.LG 机器学习55

    论文提出智能模型路由框架,在特定定价与流量假设下将推理成本降低约一个数量级

    该论文为 LLM 智能模型路由建立成本与质量优化框架,推导出最优阈值策略结构,并区分校准与判别、给出级联盈亏平衡条件及价格比与流量偏斜的敏感性分析。在明确列出的定价与流量假设下,数值示例显示校准后的路由器可将混合推理成本相对始终使用前沿模型降低约一个数量级,并同时给出仅路由策略的毛降幅与计入路由器自身开销后的净降幅。

  17. arXiv · cs.LG 机器学习48

    语言生成中的局部广度刻画:Kleinberg–Mullainathan 模型下的最优密度与权衡

    研究在 Kleinberg–Mullainathan 模型下从正例生成未知目标,用下 Banach 密度衡量广度以排除任意大的稀疏空洞。一维情形下刻画了每个目标的最优下 Banach 密度 b(K),并证明存在一个生成器同时达到所有 b(K);d≥2 时不存在单一最优生成器,密度优化存在内在多目标权衡。

  18. arXiv · cs.LG 机器学习78

    HyperSSM:用表示理论解释并修复 SSM 状态追踪失败

    作者用表示理论形式化 SSM 的状态更新,证明对角实数与复数 SSM 只能追踪交换群,并据此提出加入四元数通道的 HyperSSM,在保持线性时间推理与并行训练的同时,仅用至多五个状态数就精确求解近期状态追踪基准中的群任务,包括 32 个生成元的 S_5,而此前 SSM 在该任务上仅相当于随机猜测;HyperSSM 还能泛化到训练时所见长度 25 倍的序列。

    推荐理由:用表示理论解释 SSM 的状态追踪失败,并据此设计四元数通道的 HyperSSM,在群任务上精确求解。

  19. arXiv · cs.LG 机器学习58

    新算法将 oracle-efficient 对抗上下文赌博的遗憾界改进至接近最优

    作者研究含 K 个动作、N 个策略类且上下文独立同分布的上下文赌博问题,提出一种 oracle-efficient 算法,对任意预先固定的损失序列,其期望遗憾为 O(√(KT log(2N)) log(2KT)),相比此前 oracle-efficient 界的 T^{2/3} 依赖有所改进,在对数因子内达到该设定下的最优速率。

  20. arXiv · cs.IR58

    AntEmbed:兼顾高效检索与细粒度匹配的双模式多模态嵌入模型

    研究团队提出双模式多模态嵌入模型 AntEmbed,在同一嵌入空间中同时支持高效检索与推理增强的细粒度匹配。方法上构造面向检索的推理内容,将原始输入与推理增强输入视为语义等价视图,用多正例对比学习和单一 embedding token 对齐两种嵌入,并通过跨模式自蒸馏把细粒度语义迁移到原始表示,两种模式共享同一候选索引。

  21. arXiv · cs.LG 机器学习60

    新对手方构造给出在线平滑校准误差的匹配下界 Ω(√T)

    作者研究序贯二分类预测中的平滑校准误差,构造了一个让结果均值随预测者累计残差移动的对手方,使任何预测者都至少产生 Ω(√T) 的期望平滑校准误差。该下界与已知上界在常数因子内一致,并进一步给出校准距离与下校准距离的 Ω(√T) 下界,从而确定了这些校准度量在序贯预测中的极小极大速率。论文摘要注明部分证明思路在作者指导下由 GPT-6 Astra 协助完成。

    推荐理由:该工作构造新对手方把平滑校准误差下界推到 Ω(√T),与已知上界在常数因子内吻合,闭合了序贯预测中的极小极大速率问题。

  22. arXiv · cs.LG 机器学习58

    SpaceMCP:用 MCP 式函数调用让 VLM 查询场景图完成空间推理

    SpaceMCP 让 VLM 通过结构化函数调用查询实时构建的场景图,获取距离、物体位置和相机参数等信息,无需训练即在 VSI-Bench、MMSI-Bench 和 VSTI-Bench 上取得 SOTA,比基座 VLM 提升 15-22 分。场景图由前馈 3D 重建恢复度量几何、结合开放词汇分割定位物体得到,论文被 NeurIPS 2026 第二届具身空间推理(ESR)研讨会接收。

  23. arXiv · cs.LG 机器学习58

    VEPO 提出有效熵指标,在六个数学推理基准上稳定优于 GRPO

    作者提出有效熵(Effective Entropy)概念,只在有效子空间内度量多样性并过滤错误轨迹的噪声,据此实现 VEPO 方法并直接接入 RLVR 训练。在 1.5B 和 7B 的 DeepSeek-R1-Distill-Qwen 模型上,VEPO 在六个数学推理基准上相对 GRPO 取得一致的总体准确率提升,重复采样成功率也具竞争力。

  24. arXiv · cs.AI 人工智能68

    DASH:解耦异步系统让人形机器人 VLA 控制摆脱骨干规模延迟

    作者提出 DASH,将 VLA 策略拆成慢速视觉语言模型(System 2)与快速 flow-matching 动作头(System 1),两者通过 LCM 协议并发运行,使控制频率只由动作头决定。

    推荐理由:论文把 VLA 策略拆成慢速视觉语言模型与快速动作头两个并发进程,并在计入推理延迟的基准上比较不同规模骨干的控制频率与成功率。