WikiEdge:ArXiv-2407.16674/abs

編輯

• 標題：KAN or MLP: A Fairer Comparison
• 中文標題：KAN或MLP：更公平的比較
• 發布日期：2024-07-23 17:43:35+00:00
• 作者：Runpeng Yu, Weihao Yu, Xinchao Wang
• 分類：cs.LG, cs.AI
• 原文鏈接：http://arxiv.org/abs/2407.16674

摘要：本文並未提出一種新方法。相反，它提供了對KAN和MLP模型在各種任務（包括機器學習、計算機視覺、音頻處理、自然語言處理和符號公式表示）之間更公平和更全面的比較。具體而言，我們控制參數數量和FLOPs，以比較KAN和MLP的性能。我們的主要觀察是，除了符號公式表示任務外，MLP通常優於KAN。我們還對KAN進行了消融研究，發現其在符號公式表示中的優勢主要源於其B樣條激活函數。當B樣條應用於MLP時，符號公式表示的性能顯著提高，超過或匹配KAN的性能。然而，在其他MLP已經優於KAN的任務中，B樣條並未顯著提升MLP的性能。此外，我們發現KAN在標準的類增量持續學習設置中的遺忘問題比MLP更為嚴重，這與KAN論文中報告的發現不同。我們希望這些結果能為未來對KAN和其他MLP替代品的研究提供見解。