arXiv · cs.LG 机器学习· Jason Bohne, Pawel Polak, Gary Kazantsev, David Rosenberg·· 4 小时前AI 评分58
ANE：用对偶 Neumann 估计消除双层优化超梯度偏度
Your Hypergradient is Skewed: Antithetic Neumann Estimation for Bilevel Optimization
AI 导读
作者指出截断 Neumann 级数估计内层 Hessian 逆时，乘积结构会放大偏度误差，且该误差随截断深度、内层条件数和单因子噪声不对称性增长；为此提出 Antithetic Neumann Estimator（ANE），将每个 Hessian 样本与围绕参考 Hessian 的镜像样本配对后平均，参考精确时可消去全部奇数阶扰动项。
来源：arXiv · cs.LG 机器学习 · arxiv.org