神經網絡可能不再需要激活函數？Layer Normalization也具有非線性表達！

AIGC動態1年前 (2024)發布機器之心

AIGC動態歡迎閱讀

原標題：神經網絡可能不再需要激活函數？Layer Normalization也具有非線性表達！
關鍵字：線性,神經網絡,樣本,作者,能力
文章來源：機器之心
內容字數：0字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文作者均來自北京航空航天大學人工智能學院和復雜關鍵軟件環境全國重點實驗室黃雷副教授團隊。一作倪云昊為研一學生，二作郭宇芯為大三學生，三作賈俊龍為研二學生，通訊作者為黃雷副教授（主頁：https://huangleibuaa.github.io/）
神經網絡通常由三部分組成：線性層、非線性層（激活函數）和標準化層。線性層是網絡參數的主要存在位置，非線性層提升神經網絡的表達能力，而標準化層（Normalization）主要用于穩定和加速神經網絡訓練，很少有工作研究它們的表達能力，例如，以Batch Normalization為例，它在預測階段可以認為是線性變換，從表達上并未引入非線性。因此研究人員普遍認為Normalization并不能夠提升模型的表達能力。
然

原文鏈接：神經網絡可能不再需要激活函數？Layer Normalization也具有非線性表達！