浅层神经网络中时间一致的弱混沌传播界
作者研究特征学习机制下用梯度下降训练的单隐层网络,将有限宽度网络输出与平均场极限对比,在 ∫₀^∞ L_t^{1/2} dt = O(log d) 且 L_t ≲ t^{-c} 的条件下得到时间一致的界 ‖f_{ρ_t^MF} − f_{ρ̂_t^m}‖² ≲ poly(d) m^{-min(1,c/6)}。
作者研究特征学习机制下用梯度下降训练的单隐层网络,将有限宽度网络输出与平均场极限对比,在 ∫₀^∞ L_t^{1/2} dt = O(log d) 且 L_t ≲ t^{-c} 的条件下得到时间一致的界 ‖f_{ρ_t^MF} − f_{ρ̂_t^m}‖² ≲ poly(d) m^{-min(1,c/6)}。
研究者提出一种将不动点信息直接注入 Neural-ODE 参数的方法,通过 Moore-Penrose 伪逆与薄 QR 分解参数化输出矩阵,使预设不动点在训练全程精确成立,无需惩罚项或事后投影。在含四个平衡点的二维 Lotka-Volterra 竞争模型上,约束模型的不动点残差保持在单精度舍入误差水平,测试误差比同架构无约束网络低约五倍。软惩罚方法降低残差则以精度为代价,残差仍高出至少一个数量级。
作者提出 Agent 服务系统 MARS,通过引擎外的准入控制器按初始前缀占用估计和实时 KV 可用量选择根工作流,并在引擎内用面向 Agent 的调度器优先完成轮次、协调 prefill 分配与 KV 回收,以减少 KV cache 抖动。
Jamie Simon、Daniel Kunin 等十余位作者在 arXiv 发表 43 页观点论文,主张深度学习正在形成一门科学理论,即刻画训练过程、隐藏表示、最终权重与性能的理论。
HRIR-Former 是一种时域、无网格的双耳 Transformer,可从单个听者的少量实测 HRIR 预测任意未测方向的 HRIR。它采用正弦空间特征、Conv1D 精修模块,并辅以 ITD 和 ILD 预测头。在 SONICOM 上,其 NMSE、余弦距离和 ITD/ILD 误差均优于此前方法,消融实验还表明无需最小相位预处理。
研究提出一套面向核广义线性模型(含核化线性、逻辑与Poisson回归及岭正则)协变量偏移下无监督域适应的框架。方法将标注源数据分为两批,分别训练候选模型族与插补模型,由插补模型为目标数据生成伪标签以完成稳健模型选择。作者给出非渐近超额风险界,用"有效标注样本量"刻画适应性能,合成与真实数据实验均优于仅用源数据的基线。
作者提出稳健变分神经后验估计(RVNP),用重要性加权自编码器同时学习对模型设定错误稳健的后验代理和刻画模拟与现实差距的显式误差模型。在多个存在设定错误的基准上,RVNP 在多项指标上优于此前方法,并能以数据驱动、可解释的方式恢复稳健后验推断。该工作已被 NeurIPS 2026 接收。
作者发现,R 与 Python 中看似等价的 C-index 实现会给出不同结果,形成所谓 C-index 多重宇宙,主要差异来自平局处理与删失校正,而生存分布风险汇总方式缺乏统一标准又引入额外变化。研究在公开乳腺癌数据与半合成样例上,用 Cox 比例风险模型到近期深度学习方法验证了这些差异对预测性能量化的影响,并呼吁改进报告透明度与可复现性,代码已公开。
研究者在两个材料科学基准上评估 TabPFN 和 TabICL 作为开箱即用的代理模型,并与高斯过程、随机森林和 CatBoost 等基线对比,发现两种表格基础模型无需针对主动学习做任务特定训练或选择 GP 核函数,就具备很强的竞争力。作者据此认为值得进一步把表格基础模型发展为材料发现主动学习的代理模型,代码已公开,论文被 NeurIPS 2026 的 AI4Mat Workshop 接收。
MACaQ 是一种 MXFP4 W4A4 训练后量化方法,对每个线性层独立处理,在线对激活施加逐通道缩放和 block-Hadamard 变换,并把逆变换吸收进权重,从而避免跨层依赖、支持逐层流式量化。
研究把语言模型的信念拆成内容(当前预测什么)与权重(相当于多少条新观测),在 9 个 8B 至 397B 参数的开源权重模型上用 Bernoulli 推断检验。
作者发布 Sheaf-MPNN,一个基于 PyTorch Geometric 的库,把 sheaf 扩散改写为按关联边进行的局部传输与聚合,不再显式构造全局 sheaf Laplacian,从而避免其内存与计算开销。
研究在六个合金与晶体结构数据集上,用标准化 Wasserstein 距离量化分布偏移严重度,在随机交叉验证和六种分布外(OOD)协议下将大语言模型与传统方法、BERT 基线、TabPFN 和文本回归基线对比。
作者用神经坍缩(NC)作为表示几何的探针,把类内变异坍缩(NC1)、单纯形类均值(NC2)和分类器对齐(NC3)统一用学到的特征核表达,并将已知的 NC1 恒等式推广到 NC2 和 NC3。
作者提出奖励膨胀(reward inflation),即在训练过程中逐步放大奖励幅度,并在 ALE 游戏和 MuJoCo 任务上验证适当程度的膨胀对广泛任务有益。理论分析显示,该机制会带来隐式的近期加权,使策略更新更偏向近期转移,同时维持梯度信号以抑制休眠神经元出现;作者还提出自适应调整膨胀水平的变体 Fed,其表现常优于固定膨胀。代码已开源,论文被 NeurIPS 2026 接收。
研究团队提出免训练的 PatchKV 框架,把部分上下文信息写入模型权重,以补偿 KV cache 压缩带来的性能损失。该方法在上下文加载时通过岭回归闭式求解出上下文专属的权重补丁,与现成的压缩 KV cache 配合使用,在单上下文多查询场景下不改变前向计算图和单次查询推理成本。
作者提出 FreeKnob 审计:在留出数据上拟合单调校准映射并分别应用于各系统,量化极端阈值下池化 CSI 差异中有多少可被校准消除。
推荐理由:作者用单调校准映射做对照,量化了极端阈值 CSI 差异中有多少来自振幅校准而非空间排序能力。
作者提出 PulseGuard,用 RhythmFormer 提取逐窗口 rPPG 波形并训练轻量分类器区分真实与合成人脸视频。在 Celeb-DF++ 的 TF 子集上按严格主体独立协议评测,1D ResNet 窗口级 AUC 为 0.826(EER 25.1%),汇总到视频级为 0.842,在完全未参与训练的生成器上仍保持 AUC 0.754。
作者把截断签名反演重新表述为概率问题,即学习给定截断签名下路径的条件分布,并用签名条件流匹配模型作为估计器。针对高斯过程族,作者在线性统计条件下推导出后验采样重构误差的闭式解(log-GBM)与数值可计算公式(drifted fBM、OU),并说明该 oracle 误差上界了截断签名条件下的误差。
研究提出贝叶斯框架 ProjectionTL,用分层建模结合自适应后验投影,在源层面和特征层面实现选择性知识迁移,以缓解负迁移。该方法先以数据驱动权重融合多源信息,再通过加权后验投影保留源与目标信号一致性更强的特征,并给出后验收缩与模型选择一致性的理论保证。在阿尔茨海默病神经影像数据上,其估计精度、变量选择与预测表现优于对比方法。
作者提出动态-概率一致性(DPC)缺口,指出优化有限时域概率目标可能削弱学到的动力学,或让预测不确定性偏离其应反映的局部切动力学,并归纳出核心坍缩、噪声遮蔽和盲不确定性三种机制。
作者提出 DUNE,把 DNN 神经元分解为更单义的子单元,并按设计精确还原原始激活,从而在保持功能保真度的同时提升单义性。该方法可直接用于预训练模型,无需标签或训练辅助模型;在包括 DINOv2 在内的多个模型上取得 SOTA 或相当的单义性,并推进了单义性与功能保真度之间的 Pareto 前沿,还支持概念级定向干预。
推荐理由:针对稀疏自编码器在单义性与功能保真度之间的权衡,DUNE 用精确重路由做到不损失原激活,读者可据此判断可解释性干预的代价。
作者提出 Augmented Lagrangian Predictive Coding(PC-ALM),在保持预测编码(PC)推理开销的同时,把每层约束误差累积为层内 Lagrange 乘子,使权重更新向 BP 对齐。
推荐理由:论文提出用增广拉格朗日乘子让局部学习逼近 BP 梯度,并在深度 128 的非线性网络上与 BP 性能持平。
作者提出 Blocked Gibbs Diffusion Transformer(BloGDiT),用分块高斯去噪替代标准联合高斯去噪,并通过迭代块重采样和随时间退火的块大小,实现对变量子集的大幅定向修改。在 Sudoku、Graph Coloring、Maximum Independent Set 和 MaxCut 上,BloGDiT 达到或超过现有方法,论文被 NeurIPS 2026 接收。
推荐理由:针对扩散模型求解约束优化时只能处理二元变量、依赖局部推理的局限,给出用 Transformer 做全局块级编辑的替代方案。
论文研究精确认证问题,即需要多少标注样例才能证明学到的假设等于目标函数,并证明在深度至少为 2 的阈值电路中,仅增加一个门就可能使认证所需样例数随输入维度指数增长;对 log-precision Transformer 也有类似的困难性结论,且只需常数级架构开销。
推荐理由:论文从理论上说明最小过参数化即可让精确认证指数级变难,并用二值加法实验展示错误模型难以通过均匀采样发现。
研究者提出 Retain-Orthogonal Surrogate Unlearning(ROSU),将 min-max 遗忘中的内层对抗扰动限制为与保留梯度正交,并给出提升遗忘损失最快扰动的闭式解,用于设定代理点并放大到遗忘步骤。
作者研究多层 softmax 自注意力网络做线性回归时的梯度下降训练动力学,证明在无限数据极限下该回归问题等价于矩阵分解问题,并据此提出一阶优化算法 Hera 及其变体 Hera-PSD。
作者提出序列化成员推断攻击 SeMI,通过在受控插入时间注入目标 canary 并利用模型更新序列,得到比只检查最终模型更强的成员推断能力。针对经验均值计算,他们给出最优攻击 SeMI* 并推导其检验功效,显示其功效只取决于目标插入前后的统计量;据此设计了针对 (DP-)SGD 训练模型的白盒(访问梯度)和黑盒(访问损失)攻击。
作者提出 Next-Latent Prediction(NextLat),在标准下一 token 训练之外加入潜空间自监督预测,让 Transformer 的潜表示收敛到预测未来所需的信念状态。
推荐理由:论文给出 NextLat 的理论依据与多类基准对比,并报告推理加速数字,便于读者判断其可复现性。
作者提出从 AI 论文到 QA 的系统化构建流程,并据此构建 CS-54k 语料,包含 54k 个问答对,来自 14,474 篇开放许可的 AI 论文,覆盖研究领域、先前工作、现有挑战、动机、发现与假设、方法、实验设置和实验结果八个论文组成部分。
研究提出 MVC-ZigAL,一个面向少步文本到多视图(T2MV)扩散模型的强化学习微调框架,用于改善单视图保真度与跨视图一致性。其核心设计包括联合建模所有生成视图并用联合视图奖励评估整体质量的 MDP 形式、利用自精炼采样相对标准采样的性能增益来增强学习信号的优势学习策略,以及结合拉格朗日对偶与自适应原始-对偶更新的多视图约束优化框架。该工作已被 CVPR 2026 接收,代码已开源。
研究提出 Mean Squared Shape function distance,用于量化"功能透明模型"(预测函数可分解为主效应单变量函数与成对交互双变量函数之和)的结构稳定性。
研究提出一种基于 Dempster-Shafer 理论的不确定性感知量子分类框架,让参数化量子电路直接从数据中学习为标签集合而非单一标签分配权重。该训练策略可高效制备对应量子态,并使量子 Dempster-Shafer 融合在多项式资源需求下可行,即使 mass 函数定义在指数级多个子集上。
作者提出分布优先框架学习风险敏感个体化治疗规则(ITR):先估计各治疗条件下的结果分布,再通过插件式准则评估构造目标治疗规则,从而在同一流程中统一分位数、CVaR 和累积前景理论等准则。
作者提出 HybridCT,用机器学习模拟器把 ±70° 范围内九个视角的辐亮度映射为云光学厚度(COT)投影,再用 SART 反演出三维云消光。在合成三维云场上的实验中,HybridCT 重建消光的 RMSE 为 13.3 km⁻¹、耗时 3.5 s,而基于物理的 AT3D 框架 RMSE 为 22.7 km⁻¹、耗时约 30 min,加速超过 500 倍。
推荐理由:该工作用 ML 模拟器替代传统物理反演中的部分环节,把三维云消光重建从约 30 分钟压缩到 3.5 秒,并给出与 AT3D 的精度对比。
该论文为 LLM 智能模型路由建立成本与质量优化框架,推导出最优阈值策略结构,并区分校准与判别、给出级联盈亏平衡条件及价格比与流量偏斜的敏感性分析。在明确列出的定价与流量假设下,数值示例显示校准后的路由器可将混合推理成本相对始终使用前沿模型降低约一个数量级,并同时给出仅路由策略的毛降幅与计入路由器自身开销后的净降幅。
作者提出 FLOE(follow the leave-one-out e-power)投注策略,利用数据流的 i.i.d. 性质估计当前检验在真实分布上的 e-power,并通过对数据重排得到的等概率可能序列取平均,而非像通用在线学习方法那样对历史证据取平均。配合额外的正则化技术,这一可直接替换的方法在多种核双样本检验与独立性检验问题上取得明显性能提升,论文已被 NeurIPS 2026 接收。
Konstantin Yakovlev 研究一步式流生成模型能否绕开维度灾难,在数据分布由低维曲面加高斯噪声生成的假设下,推导出流映射估计的近似误差与泛化误差界,使其不随维度指数增长。作者称这为一步式流生成模型的实际成功提供了首个有原理的解释。论文共 52 页,已被 NeurIPS 2026 接收。
作者提出用配对持久性对照拆解视频世界模型的未来预测分数,把编码器质量、近未来与近期过去的相似性、预测器自身贡献分开。
研究为实解析势在两个紧连通零水平分支间的低温 Langevin 扩散建立了 Eyring-Kramers 公式,势阱可以奇异且非孤立,唯一极小门是非退化的一阶鞍点。作者用边界门构造证明该极小门的唯一性等价于所有极小路径都经过该鞍点,并通过半解析拓扑与解析 Morse 坐标给出匹配的容量上下界。主常数由次水平体积系数、Gamma 因子与鞍点 Hessian 表示。