WikiEdge:ArXiv-2407.16674/terms
跳转到导航
跳转到搜索
这篇文章的术语表如下：
- 多层感知器（Multi-Layer Perceptrons, MLP）：多层感知器是现代深度学习模型中的基础构建块，由多个节点层组成，每层的节点（或神经元）对其输入应用固定激活函数。
- Kolmogorov–Arnold 网络（Kolmogorov–Arnold Networks, KAN）：Kolmogorov–Arnold 网络是传统 多层感知器 的创新替代品，利用 Kolmogorov-Arnold 表示定理，具有可学习的边缘激活函数，用参数化为样条的单变量函数替代线性权重参数。
- B-样条（B-spline）：B-样条是一种非线性函数，用于 Kolmogorov–Arnold 网络 中的激活函数，具有可学习的参数，并且每个输入元素的激活函数可以不同。
- 符号公式表示（Symbolic Formula Representing）：符号公式表示是机器学习中的一项任务，涉及将数学公式以符号形式表示出来，通常用于测试模型的函数逼近能力。
- FLOPs（Floating Point Operations）：FLOPs 指的是浮点运算次数，用于衡量算法或者硬件执行浮点运算的能力。
- 遗忘问题（Forgetting Issue）：在持续学习或增量学习中，模型在学到新任务的同时遗忘先前任务的现象。
- 反向传播（Backpropagation）：一种在神经网络中用于训练的监督学习算法，通过计算损失函数关于网络参数的梯度来更新网络权重。
- ReLU（Rectified Linear Unit）：修正线性单元是一种常用的激活函数，定义为输入的正部分。
- GELU（Gaussian Error Linear Unit）：高斯误差线性单元是一种激活函数，其输出是输入值经过高斯分布概率加权的结果。
- Adam 优化器（Adam Optimizer）：一种用于训练深度学习模型的随机梯度下降优化算法，结合了动量和自适应学习率的特点。