WikiEdge:ArXiv-2404.19756/abs

编辑

• 标题：KAN: Kolmogorov-Arnold Networks
• 中文标题：KAN: 科尔莫哥洛夫-阿诺德网络
• 发布日期：2024-04-30 17:58:29+00:00
• 作者：Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark
• 分类：cs.LG, cond-mat.dis-nn, cs.AI, stat.ML
• 原文链接：http://arxiv.org/abs/2404.19756

摘要：受科尔莫哥洛夫-阿诺德表示定理的启发，我们提出了科尔莫哥洛夫-阿诺德网络（KANs），作为多层感知器（MLPs）的有前景的替代方案。虽然MLPs在节点（“神经元”）上具有固定的激活函数，但KANs在边（“权重”）上具有可学习的激活函数。KANs完全没有线性权重——每个权重参数都被替换为一个作为样条函数参数化的单变量函数。我们展示了这一看似简单的变化使KANs在准确性和可解释性方面超越了MLPs。在准确性方面，远小于MLPs的KANs在数据拟合和偏微分方程求解中可以实现可比或更好的准确性。从理论和实证上看，KANs具有比MLPs更快的神经网络扩展法则。在可解释性方面，KANs可以直观地可视化，并且可以轻松与人类用户互动。通过数学和物理的两个例子，KANs被证明是有用的合作伙伴，帮助科学家（重新）发现数学和物理定律。总之，KANs是MLPs的有前景的替代方案，为进一步改善当今严重依赖MLPs的深度学习模型开辟了机会。