WikiEdge:ArXiv-2407.16674/terms
跳至導覽
跳至搜尋
這篇文章的術語表如下：
- 多層感知器（Multi-Layer Perceptrons, MLP）：多層感知器是現代深度學習模型中的基礎構建塊，由多個節點層組成，每層的節點（或神經元）對其輸入應用固定激活函數。
- Kolmogorov–Arnold 網絡（Kolmogorov–Arnold Networks, KAN）：Kolmogorov–Arnold 網絡是傳統 多層感知器 的創新替代品，利用 Kolmogorov-Arnold 表示定理，具有可學習的邊緣激活函數，用參數化為樣條的單變量函數替代線性權重參數。
- B-樣條（B-spline）：B-樣條是一種非線性函數，用於 Kolmogorov–Arnold 網絡 中的激活函數，具有可學習的參數，並且每個輸入元素的激活函數可以不同。
- 符號公式表示（Symbolic Formula Representing）：符號公式表示是機器學習中的一項任務，涉及將數學公式以符號形式表示出來，通常用於測試模型的函數逼近能力。
- FLOPs（Floating Point Operations）：FLOPs 指的是浮點運算次數，用于衡量算法或者硬件執行浮點運算的能力。
- 遺忘問題（Forgetting Issue）：在持續學習或增量學習中，模型在學到新任務的同時遺忘先前任務的現象。
- 反向傳播（Backpropagation）：一種在神經網絡中用於訓練的監督學習算法，通過計算損失函數關於網絡參數的梯度來更新網絡權重。
- ReLU（Rectified Linear Unit）：修正線性單元是一種常用的激活函數，定義為輸入的正部分。
- GELU（Gaussian Error Linear Unit）：高斯誤差線性單元是一種激活函數，其輸出是輸入值經過高斯分布概率加權的結果。
- Adam 優化器（Adam Optimizer）：一種用於訓練深度學習模型的隨機梯度下降優化算法，結合了動量和自適應學習率的特點。