WikiEdge:ArXiv-2404.19756/abs

編輯

• 標題：KAN: Kolmogorov-Arnold Networks
• 中文標題：KAN: 科爾莫哥洛夫-阿諾德網絡
• 發布日期：2024-04-30 17:58:29+00:00
• 作者：Ziming Liu, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou, Max Tegmark
• 分類：cs.LG, cond-mat.dis-nn, cs.AI, stat.ML
• 原文鏈接：http://arxiv.org/abs/2404.19756

摘要：受科爾莫哥洛夫-阿諾德表示定理的啟發，我們提出了科爾莫哥洛夫-阿諾德網絡（KANs），作為多層感知器（MLPs）的有前景的替代方案。雖然MLPs在節點（「神經元」）上具有固定的激活函數，但KANs在邊（「權重」）上具有可學習的激活函數。KANs完全沒有線性權重——每個權重參數都被替換為一個作為樣條函數參數化的單變量函數。我們展示了這一看似簡單的變化使KANs在準確性和可解釋性方面超越了MLPs。在準確性方面，遠小於MLPs的KANs在數據擬合和偏微分方程求解中可以實現可比或更好的準確性。從理論和實證上看，KANs具有比MLPs更快的神經網絡擴展法則。在可解釋性方面，KANs可以直觀地可視化，並且可以輕鬆與人類用戶互動。通過數學和物理的兩個例子，KANs被證明是有用的合作夥伴，幫助科學家（重新）發現數學和物理定律。總之，KANs是MLPs的有前景的替代方案，為進一步改善當今嚴重依賴MLPs的深度學習模型開闢了機會。