WikiEdge:ArXiv-2404.19756/background

編輯

這篇文獻的背景主要集中在以下幾個方面：

1. 多層感知器（Multi-Layer Perceptrons, MLPs）的局限性：
   • MLPs作為深度學習的基礎模型，在處理非線性函數逼近方面發揮著重要作用，但其固定激活函數限制了其表達能力和可解釋性。
   • MLPs在處理高維數據時面臨維度災難，且其參數數量隨網絡深度和寬度增加而急劇增加，導致訓練難度和過擬合風險提高。
2. Kolmogorov-Arnold 表示定理的啟發：
   • Kolmogorov-Arnold 表示定理提出，任何多變量連續函數都可以通過單變量連續函數的有限組合和加法運算表示，為構建新型神經網絡提供了理論基礎。
   • 基於該定理的Kolmogorov-Arnold 網絡（KANs）通過在網絡邊緣學習激活函數，而非傳統MLPs中的節點，為解決MLPs的局限性提供了新思路。
3. 人工智慧與科學的結合（AI + Science）：
   • 隨著人工智慧技術的發展，其在科學研究中的應用日益廣泛，特別是在數學和物理等領域，AI的輔助能夠加速科學發現和理論驗證。
   • KANs因其在準確性和可解釋性方面的優勢，被視為AI + Science任務中的有力工具，有助於科學家重新發現數學和物理定律。

綜上所述，這篇文獻的背景強調了在深度學習領域中對新型神經網絡結構的需求，以及Kolmogorov-Arnold 網絡在解決現有MLPs局限性和促進AI與科學研究結合中的潛力。