Transformer要變Kansformer？用了幾十年的MLP迎來挑戰者KAN

AIGC動態歡迎閱讀

原標題：Transformer要變Kansformer？用了幾十年的MLP迎來挑戰者KAN
關鍵字：函數,報告,表示,定理,作者
文章來源：機器之心
內容字數：15115字

內容摘要：

機器之心報道
機器之心編輯部MLP（多層感知器）用了幾十年了，真的沒有別的選擇了嗎？多層感知器（MLP），也被稱為全連接前饋神經網絡，是當今深度學習模型的基礎構建塊。
MLP 的重要性無論怎樣強調都不為過，因為它們是機器學習中用于逼近非線性函數的默認方法。
然而，MLP 是否就是我們能夠構建的最佳非線性回歸器呢？盡管 MLP 被廣泛使用，但它們存在明顯的缺陷。例如，在 Transformer 模型中，MLP 幾乎消耗了所有非嵌入式參數，并且通常在沒有后處理分析工具的情況下，相對于注意力層來說，它們的可解釋性較差。
所以，是否有一種 MLP 的替代選擇？
今天，KAN 出現了。這是一個靈感來源于 Kolmogorov-Arnold 表示定理的網絡。
鏈接：https://arxiv.org/pdf/2404.19756
Github：https://github.com/KindXiaoming/pykan
該研究一經發布，就在國外社交平臺引起了廣泛的關注與討論。
有網友稱，Kolmogorov 早在 1957 年就發現了多層神經網絡，比 Rumerhart、Hinton 和 Willi

原文鏈接：Transformer要變Kansformer？用了幾十年的MLP迎來挑戰者KAN

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺