WikiEdge:ArXiv-2407.16674/abs

编辑

• 标题：KAN or MLP: A Fairer Comparison
• 中文标题：KAN或MLP：更公平的比较
• 发布日期：2024-07-23 17:43:35+00:00
• 作者：Runpeng Yu, Weihao Yu, Xinchao Wang
• 分类：cs.LG, cs.AI
• 原文链接：http://arxiv.org/abs/2407.16674

摘要：本文并未提出一种新方法。相反，它提供了对KAN和MLP模型在各种任务（包括机器学习、计算机视觉、音频处理、自然语言处理和符号公式表示）之间更公平和更全面的比较。具体而言，我们控制参数数量和FLOPs，以比较KAN和MLP的性能。我们的主要观察是，除了符号公式表示任务外，MLP通常优于KAN。我们还对KAN进行了消融研究，发现其在符号公式表示中的优势主要源于其B样条激活函数。当B样条应用于MLP时，符号公式表示的性能显著提高，超过或匹配KAN的性能。然而，在其他MLP已经优于KAN的任务中，B样条并未显著提升MLP的性能。此外，我们发现KAN在标准的类增量持续学习设置中的遗忘问题比MLP更为严重，这与KAN论文中报告的发现不同。我们希望这些结果能为未来对KAN和其他MLP替代品的研究提供见解。