更通用、有效，螞蟻?zhàn)匝袃?yōu)化器WSAM入選KDD Oral

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：更通用、有效，螞蟻?zhàn)匝袃?yōu)化器WSAM入選KDD Oral

關(guān)鍵字：極值,損失,權(quán)重,基礎(chǔ),函數(shù)

文章來(lái)源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：11790字

內(nèi)容摘要：機(jī)器之心專(zhuān)欄機(jī)器之心編輯部螞蟻 AI Infra 團(tuán)隊(duì)在深度學(xué)習(xí)最核心之一的優(yōu)化器方向持續(xù)投入與創(chuàng)新，實(shí)現(xiàn)了 AI 訓(xùn)練節(jié)約資源、加速收斂、提升泛化等目標(biāo)。我們將推出“優(yōu)化器三部曲”系列，這是本系列的第一篇。深度神經(jīng)網(wǎng)絡(luò)（DNNs）的泛化能力與極值點(diǎn)的平坦程度密切相關(guān)，因此出現(xiàn)了 Sharpness-Aware Minimization (SAM) 算法來(lái)尋找更平坦的極值點(diǎn)以提高泛化能力。本文重新…

原文鏈接：點(diǎn)此閱讀原文：更通用、有效，螞蟻?zhàn)匝袃?yōu)化器WSAM入選KDD Oral

聯(lián)系作者

文章來(lái)源：機(jī)器之心

作者微信：almosthuman2014

作者簡(jiǎn)介：專(zhuān)業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)