查看“WikiEdge:ArXiv-2407.16674/abs”的源代码

<div style="float: right;">[{{fullurl:WikiEdge:ArXiv-2407.16674/abs|action=edit}} 编辑]</div>
* '''标题'''：KAN or MLP: A Fairer Comparison
* '''中文标题'''：KAN或MLP：更公平的比较
* '''发布日期'''：2024-07-23 17:43:35+00:00
* '''作者'''：Runpeng Yu, Weihao Yu, Xinchao Wang
* '''分类'''：cs.LG, cs.AI
* '''原文链接'''：http://arxiv.org/abs/2407.16674
'''摘要'''：本文并未提出一种新方法。相反，它提供了对[[KAN]]和[[MLP]]模型在各种任务（包括[[机器学习]]、[[计算机视觉]]、[[音频处理]]、[[自然语言处理]]和[[符号公式表示]]）之间更公平和更全面的比较。具体而言，我们控制参数数量和[[FLOPs]]，以比较KAN和MLP的性能。我们的主要观察是，除了[[符号公式表示]]任务外，[[MLP]]通常优于[[KAN]]。我们还对[[KAN]]进行了消融研究，发现其在[[符号公式表示]]中的优势主要源于其[[B样条激活函数]]。当[[B样条]]应用于[[MLP]]时，[[符号公式表示]]的性能显著提高，超过或匹配[[KAN]]的性能。然而，在其他[[MLP]]已经优于[[KAN]]的任务中，[[B样条]]并未显著提升[[MLP]]的性能。此外，我们发现[[KAN]]在标准的类增量持续学习设置中的[[遗忘问题]]比[[MLP]]更为严重，这与[[KAN]]论文中报告的发现不同。我们希望这些结果能为未来对[[KAN]]和其他[[MLP]]替代品的研究提供见解。