Softmax注意力與線性注意力的優雅融合，Agent Attention推動注意力新升級

AIGC動態歡迎閱讀

原標題：Softmax注意力與線性注意力的優雅融合，Agent Attention推動注意力新升級
關鍵字：注意力,模型,線性,向量,全局
文章來源：機器之心
內容字數：8659字

內容摘要：

機器之心專欄
作者：韓東辰來自清華大學的研究者提出了一種新的注意力范式——代理注意力 (Agent Attention)。近年來，視覺 Transformer 模型得到了極大的發展，相關工作在分類、分割、檢測等視覺任務上都取得了很好的效果。然而，將 Transformer 模型應用于視覺領域并不是一件簡單的事情。與自然語言不同，視覺圖片中的特征數量更多。由于 Softmax 注意力是平方復雜度，直接進行全局自注意力的計算往往會帶來過高的計算量。針對這一問題，先前的工作通常通過減少參與自注意力計算的特征數量的方法來降低計算量。例如，設計稀疏注意力機制（如 PVT）或將注意力的計算限制在局部窗口中（如 Swin Transformer）。盡管有效，這樣的自注意力方法很容易受到計算模式的影響，同時也不可避免地犧牲了自注意力的全局建模能力。
與 Softmax 注意力不同，線性注意力將 Softmax 解耦為兩個的函數，從而能夠將注意力的計算順序從 (query?key)?value 調整為 query?(key?value)，使得總體的計算復雜度降低為線性。然而，目前的線性注意力方法效果

原文鏈接：Softmax注意力與線性注意力的優雅融合，Agent Attention推動注意力新升級

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺