arXiv · cs.LG 机器学习· Gautam Goel, Mahdi Soltanolkotabi, Peter Bartlett·· 5 小时前AI 评分60
Hera：面向 softmax 自注意力的预条件优化算法，理论收敛更快且层数不敏感
Training Dynamics of Softmax Self-Attention: Fast Global Convergence via Preconditioning
AI 导读
作者研究多层 softmax 自注意力网络做线性回归时的梯度下降训练动力学，证明在无限数据极限下该回归问题等价于矩阵分解问题，并据此提出一阶优化算法 Hera 及其变体 Hera-PSD。
来源：arXiv · cs.LG 机器学习 · arxiv.org