AIGC動態歡迎閱讀

原標題：替代MLP的KAN，被開源項目擴展到卷積了
關鍵字：卷積,參數,架構,函數,線性
文章來源：機器之心
內容字數：3867字

內容摘要：

機器之心報道
機器之心編輯部本月初，來自 MIT 等機構的研究者提出了一種非常有潛力的 MLP 替代方法 ——KAN。
KAN 在準確性和可解釋性方面表現優于 MLP，而且它能以非常少的參數量勝過以更大參數量運行的 MLP。比如，作者表示，他們用 KAN 以更小的網絡和更高的自動化程度重現了 DeepMind 的結果。具體來說，DeepMind 的 MLP 有大約 300000 個參數，而 KAN 只有大約 200 個參數。
KAN 與 MLP 一樣具有強大的數學基礎，MLP 基于通用逼近定理，而 KAN 基于 Kolmogorov-Arnold 表示定理。
如下圖所示，KAN 在邊上具有激活函數，而 MLP 在節點上具有激活函數。KAN 似乎比 MLP 的參數效率更高，但每個 KAN 層比 MLP 層擁有更多的參數。最近，有研究者將 KAN 創新架構的理念擴展到卷積神經網絡，將卷積的經典線性變換更改為每個像素中可學習的非線性激活函數，提出并開源 KAN 卷積（CKAN）。項目地址：https://github.com/AntonioTepsich/Convolutional-KANs

原文鏈接：替代MLP的KAN，被開源項目擴展到卷積了

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺