WikiEdge:ArXiv-2409.16422

• 標題：Is All Learning (Natural) Gradient Descent?
• 中文標題：所有的學習都是（自然）梯度下降嗎？
• 發佈日期：2024-09-24 19:41:08+00:00
• 作者：Lucas Shoji, Kenta Suzuki, Leo Kozachkov
• 分類：cs.LG, math.DS, q-bio.NC
• 原文連結：http://arxiv.org/abs/2409.16422v1

摘要：本文表明，一大類有效的學習規則——那些能夠在給定時間窗口內提高標量性能度量的規則——可以被重寫為關於適當定義的損失函數和度量的自然梯度下降。具體來說，我們表明，這類學習規則中的參數更新可以被表示為一個對稱正定矩陣（即，一個度量）和損失函數的負梯度的乘積。我們還證明了這些度量有一個規範形式，並確定了幾個最優的度量，包括實現最小可能條件數的度量。主要結果的證明是直接的，只依賴於基礎的線性代數和微積分，並且適用於連續時間、離散時間、隨機和高階學習規則，以及明確依賴於時間的損失函數。