跳到正文
arXiv · stat.ML· Tam Le (LPSM)·· 4 小时前AI 评分42

Wasserstein 分布鲁棒优化的随机梯度法无正则化极限

Unregularized limit of stochastic gradient method for Wasserstein distributionally robust optimization

AI 导读

该研究分析 Wasserstein 分布鲁棒优化中熵平滑正则化变体的随机梯度法,证明当正则化参数趋于零时近似梯度收敛到无正则化目标的次梯度,从而为随机梯度法提供收敛保证。在一般假设下给出定性收敛结果,并在额外正则性条件下给出收敛速率,包括迭代中逐步降低正则化水平时无正则化目标值的收敛速率(含采样误差)。分析还附带最大函数次微分平滑的近似结果与 Wasserstein 分布鲁棒优化对偶解的经验下界。

来源:arXiv · stat.ML · arxiv.org