查看“WikiEdge:ArXiv-2409.16422”的源代码

* '''标题'''：Is All Learning (Natural) Gradient Descent?
* '''中文标题'''：所有的学习都是（自然）梯度下降吗？
* '''发布日期'''：2024-09-24 19:41:08+00:00
* '''作者'''：Lucas Shoji, Kenta Suzuki, Leo Kozachkov
* '''分类'''：cs.LG, math.DS, q-bio.NC
*'''原文链接'''：http://arxiv.org/abs/2409.16422v1
'''摘要'''：本文表明，一大类有效的学习规则——那些能够在给定时间窗口内提高标量性能度量的规则——可以被重写为关于适当定义的损失函数和度量的自然梯度下降。具体来说，我们表明，这类学习规则中的参数更新可以被表示为一个对称正定矩阵（即，一个度量）和损失函数的负梯度的乘积。我们还证明了这些度量有一个规范形式，并确定了几个最优的度量，包括实现最小可能条件数的度量。主要结果的证明是直接的，只依赖于基础的线性代数和微积分，并且适用于连续时间、离散时间、随机和高阶学习规则，以及明确依赖于时间的损失函数。