視覺Transformer中ReLU替代softmax，DeepMind新招讓成本速降

AIGC動態歡迎閱讀

原標題：視覺Transformer中ReLU替代softmax，DeepMind新招讓成本速降

關鍵字：注意力,序列,長度,門控,模型

文章來源：機器之心

內容字數：3982字

內容摘要：機器之心報道編輯：PandaDeepmind 出新招，ReLU 盡展優勢。Transformer 架構已經在現代機器學習領域得到了廣泛的應用。注意力是 transformer 的一大核心組件，其中包含了一個 softmax，作用是產生 token 的一個概率分布。softmax 有較高的成本，因為其會執行指數計算和對序列長度求和，這會使得并行化難以執行。Google DeepMind 想到了一個新…

原文鏈接：點此閱讀原文：視覺Transformer中ReLU替代softmax，DeepMind新招讓成本速降

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺