一階優化算法啟發，北大林宙辰團隊提出具有萬有逼近性質的神經網絡架構的設計方法

AIGC動態歡迎閱讀

原標題：一階優化算法啟發，北大林宙辰團隊提出具有萬有逼近性質的神經網絡架構的設計方法
關鍵字：網絡,神經網絡,架構,方法,算法
文章來源：機器之心
內容字數：9007字

內容摘要：

機器之心專欄
機器之心編輯部以神經網絡為基礎的深度學習技術已經在諸多應用領域取得了有效成果。在實踐中，網絡架構可以顯著影響學習效率，一個好的神經網絡架構能夠融入問題的先驗知識，穩定網絡訓練，提高計算效率。目前，經典的網絡架構設計方法包括人工設計、神經網絡架構搜索（NAS）[1]、以及基于優化的網絡設計方法 [2]。人工設計的網絡架構如 ResNet 等；神經網絡架構搜索則通過搜索或強化學習的方式在搜索空間中尋找最佳網絡結構；基于優化的設計方法中的一種主流范式是算法展開（algorithm unrolling），該方法通常在有顯式目標函數的情況下，從優化算法的角度設計網絡結構。
然而，現有經典神經網絡架構設計大多忽略了網絡的萬有逼近性質 —— 這是神經網絡具備強大性能的關鍵因素之一。因此，這些設計方法在一定程度上失去了網絡的先驗性能保障。盡管兩層神經網絡在寬度趨于無窮的時候就已具有萬有逼近性質 [3]，在實際中，我們通常只能考慮有限寬的網絡結構，而這方面的表示分析的結果十分有限。實際上，無論是啟發性的人工設計，還是黑箱性質的神經網絡架構搜索，都很難在網絡設計中考慮萬有逼近性質。基于優化的

原文鏈接：一階優化算法啟發，北大林宙辰團隊提出具有萬有逼近性質的神經網絡架構的設計方法

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺