AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：替代MLP的KAN，被開(kāi)源項(xiàng)目擴(kuò)展到卷積了
關(guān)鍵字：卷積,參數(shù),架構(gòu),函數(shù),線性
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：3867字

內(nèi)容摘要：

機(jī)器之心報(bào)道
機(jī)器之心編輯部本月初，來(lái)自 MIT 等機(jī)構(gòu)的研究者提出了一種非常有潛力的 MLP 替代方法 ——KAN。
KAN 在準(zhǔn)確性和可解釋性方面表現(xiàn)優(yōu)于 MLP，而且它能以非常少的參數(shù)量勝過(guò)以更大參數(shù)量運(yùn)行的 MLP。比如，作者表示，他們用 KAN 以更小的網(wǎng)絡(luò)和更高的自動(dòng)化程度重現(xiàn)了 DeepMind 的結(jié)果。具體來(lái)說(shuō)，DeepMind 的 MLP 有大約 300000 個(gè)參數(shù)，而 KAN 只有大約 200 個(gè)參數(shù)。
KAN 與 MLP 一樣具有強(qiáng)大的數(shù)學(xué)基礎(chǔ)，MLP 基于通用逼近定理，而 KAN 基于 Kolmogorov-Arnold 表示定理。
如下圖所示，KAN 在邊上具有激活函數(shù)，而 MLP 在節(jié)點(diǎn)上具有激活函數(shù)。KAN 似乎比 MLP 的參數(shù)效率更高，但每個(gè) KAN 層比 MLP 層擁有更多的參數(shù)。最近，有研究者將 KAN 創(chuàng)新架構(gòu)的理念擴(kuò)展到卷積神經(jīng)網(wǎng)絡(luò)，將卷積的經(jīng)典線性變換更改為每個(gè)像素中可學(xué)習(xí)的非線性激活函數(shù)，提出并開(kāi)源 KAN 卷積（CKAN）。項(xiàng)目地址：https://github.com/AntonioTepsich/Convolutional-KANs

原文鏈接：替代MLP的KAN，被開(kāi)源項(xiàng)目擴(kuò)展到卷積了

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)