国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

稀疏注意力再添一員,華為諾亞推出高效選擇注意力架構ESA

AIGC動態7個月前發布 智猩猩GenAI
406 0 0

為大模型在長序列任務中的應用帶來了新的可能性。

稀疏注意力再添一員,華為諾亞推出高效選擇注意力架構ESA

原標題:稀疏注意力再添一員,華為諾亞推出高效選擇注意力架構ESA
文章來源:智猩猩GenAI
內容字數:6412字

華為諾亞方舟實驗室提出高效選擇性注意力算法ESA

本文介紹了華為諾亞方舟實驗室提出的高效選擇性注意力算法ESA (Efficient Selective Attention),該算法旨在解決大語言模型(LLMs)處理長文本序列時的效率瓶頸。ESA通過創新性的稀疏注意力機制,在顯著降低計算復雜度的同時,保持了模型的準確性,實現了上下文長度的有效擴展。

1. 長序列處理的挑戰

隨著序列長度的增加,注意力計算的復雜度呈平方級增長,這使得高效且準確的長序列推理成為一大挑戰?,F有方法試圖通過短序列訓練成果外推到長序列,但面臨著OOD(out-of-distribution)問題和計算量迅速增大的難題。選擇性注意力(Selective Attention)利用注意力矩陣的稀疏性,選擇部分token進行計算,但token粒度選擇會引入巨大的計算開銷。

2. ESA算法的核心思想

ESA算法的核心在于平衡選擇性注意力方法中的靈活性與效率。它通過以下兩個核心步驟實現高效的長序列處理:

  1. 高效選擇:ESA采用基于query感知的token粒度選擇機制。通過對query和key進行低維壓縮(約3.2%),計算token的重要性分數,并考慮周圍token的影響(鄰距影響力),避免僅選擇top-ranked token導致的性能下降。
  2. 注意力計算:在選擇關鍵token后,ESA使用被選中token的完整query和key進行注意力計算,而非對所有前序token進行計算,從而大幅降低復雜度。

ESA的具體實現包括將輸入序列的token分為四部分:全局注意力和局部注意力。初始token和ESA選擇的topk中間token拼接起來計算全局注意力,局部token用于計算窗口注意力,兩部分注意力融合計算最終的注意力。ESA采用chunked-prefill緩存key和value,動態選擇關鍵token。

3. ESA算法的創新點

ESA的主要創新在于其基于token的細粒度選擇性注意力機制。它能夠在prefilling和decoding階段動態選擇最關鍵的少量token,而不是固定block選擇或永久丟棄不重要的token。通過低維壓縮query和key,將注意力計算復雜度從平方級降低到線性級。此外,ESA引入了鄰距影響力,考慮周圍token的影響,進一步提升了模型性能。

4. 實驗結果與分析

論文在Longbench、InfiniteBench、NeedleBench等公開的長序列基準測試中驗證了ESA的性能。結果表明,ESA在高倍外推場景下優于全注意力算法,尤其在multi needles檢索場景下表現突出。實驗還分析了鄰距影響力超參數的影響,以及將所有head整合計算重要性分數對算法的影響。

5. 總結與展望

ESA有效平衡了長序列外推場景下的選擇性注意力中的靈活性和計算效率,無需模型參數增量微調即可擴展上下文長度。ESA通過選擇固定數量的最重要token計算注意力,并利用注意力矩陣的稀疏性,在輸入序列足夠長時,通過低維壓縮query和key有效降低計算復雜度。未來的研究方向包括探索更準確高效的選擇重要token的方法,以及軟硬件協同的高效外推方案。


聯系作者

文章來源:智猩猩GenAI
作者微信:
作者簡介:智猩猩旗下賬號,專注于生成式人工智能,主要分享技術文章、論文成果與產品信息。

閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        亚洲欧美福利一区二区| 色婷婷香蕉在线一区二区| 国产成人免费高清| 欧美videos中文字幕| 免费一区二区视频| 久久久久9999亚洲精品| 国产精品一区二区在线观看网站| 国产无一区二区| 色天使色偷偷av一区二区| 亚洲二区在线观看| 日韩免费性生活视频播放| 成人性生交大合| 亚洲成a人v欧美综合天堂 | 色综合天天做天天爱| 亚洲美女视频在线观看| 欧美日韩电影在线| 国产精品亚洲成人| 一区二区三区日韩欧美| 日韩一区二区三区观看| 91一区在线观看| 秋霞午夜鲁丝一区二区老狼| 日本一区二区不卡视频| 884aa四虎影成人精品一区| 国产精品一区在线观看乱码| 亚洲成av人片在线| 中文字幕免费一区| 日韩一二三区不卡| 色综合视频在线观看| 精品系列免费在线观看| 亚洲一区二区不卡免费| 国产精品无遮挡| 日韩精品一区在线| 欧美人狂配大交3d怪物一区| www.一区二区| 国产经典欧美精品| 蜜桃精品视频在线| 日日噜噜夜夜狠狠视频欧美人| **欧美大码日韩| 国产欧美日韩激情| 久久综合色播五月| 日韩欧美中文一区| 欧美一区二区三区日韩| 欧美视频一区二区三区在线观看| 成人性视频免费网站| 老司机一区二区| 日本不卡免费在线视频| 亚洲成人动漫在线观看| 亚洲欧洲中文日韩久久av乱码| 久久综合九色综合97婷婷 | 欧美日韩一区二区三区在线| 成人精品电影在线观看| 国产高清久久久| 精品在线一区二区| 免费av网站大全久久| 亚洲一区二区免费视频| 亚洲一区二区三区在线| 1024亚洲合集| 亚洲男人的天堂在线aⅴ视频| 欧美国产精品中文字幕| 欧美激情一区三区| 亚洲国产岛国毛片在线| 欧美国产精品一区| 中文字幕在线观看一区二区| 国产精品久久久久四虎| 中文字幕中文字幕一区二区| 国产精品久久网站| 亚洲人成小说网站色在线| 亚洲精品国产无天堂网2021| 亚洲激情校园春色| 亚洲国产乱码最新视频 | 久久久久久免费网| 国产亚洲欧美日韩日本| 中文字幕精品三区| 亚洲男人都懂的| 丝袜美腿亚洲色图| 国产在线一区观看| www.爱久久.com| 色就色 综合激情| 欧美疯狂做受xxxx富婆| 日韩欧美国产三级| 国产视频一区在线播放| 亚洲视频一区二区在线| 玉米视频成人免费看| 免费美女久久99| 成人一区二区三区视频在线观看 | 欧美日韩视频在线第一区| 色老汉一区二区三区| 欧美电影在线免费观看| 日韩一区二区三区精品视频| 久久精品综合网| 亚洲激情在线激情| 国产一区二区精品在线观看| 成人免费视频播放| 欧美精品日韩一区| 久久精品男人天堂av| 一区二区成人在线| 国产在线国偷精品产拍免费yy| 91女人视频在线观看| 日韩欧美在线不卡| 中文字幕一区二区三| 久久99热狠狠色一区二区| 99精品视频一区二区| 91精品欧美综合在线观看最新| 久久久久久久久免费| 午夜电影一区二区三区| 国产不卡在线播放| 欧美一级在线视频| 成人免费小视频| 精品一区二区三区在线观看国产| 91在线无精精品入口| 久久久久久久综合日本| 日韩国产精品久久久久久亚洲| 91视频91自| 久久久精品日韩欧美| 日本亚洲电影天堂| 色综合一区二区三区| 国产欧美日韩视频一区二区| 麻豆精品久久久| 欧美日韩久久一区| 一区二区国产盗摄色噜噜| 丁香婷婷综合激情五月色| 欧美成人精品福利| 美女mm1313爽爽久久久蜜臀| 欧美日韩一区成人| 一区二区三区加勒比av| 成人免费毛片片v| 欧美精品一区男女天堂| 蜜臀av性久久久久蜜臀aⅴ流畅| 欧洲亚洲精品在线| 亚洲美女屁股眼交| 91亚洲午夜精品久久久久久| 国产欧美视频在线观看| 国产精品一区二区在线播放| 久久久久99精品国产片| 国产不卡视频一区| 亚洲欧美中日韩| 欧美色视频一区| 日韩精品一级中文字幕精品视频免费观看 | 在线观看www91| 中文字幕一区二区三区四区不卡 | 色综合久久中文字幕| 亚洲人快播电影网| 欧美三级韩国三级日本一级| 亚洲成年人影院| 精品国产一区二区精华| 国产福利一区二区三区视频在线 | 一区二区视频免费在线观看| 色老综合老女人久久久| 丝袜美腿亚洲一区二区图片| 日韩欧美国产麻豆| 顶级嫩模精品视频在线看| 亚洲欧美日韩综合aⅴ视频| 欧美伊人精品成人久久综合97| 日本精品裸体写真集在线观看| 亚洲免费高清视频在线| 欧美日韩精品一区二区三区四区| 日韩黄色免费电影| 2020国产精品自拍| 欧洲人成人精品| 国产资源在线一区| 亚洲四区在线观看| 欧美变态凌虐bdsm| 日本黄色一区二区| 九九在线精品视频| 亚洲精品视频一区| 精品精品欲导航| 色婷婷国产精品久久包臀| 精品一区二区三区免费播放| 亚洲日本中文字幕区| 日韩精品中文字幕在线不卡尤物| www.av精品| 国产在线播放一区二区三区| 亚洲蜜臀av乱码久久精品蜜桃| 精品国产精品网麻豆系列| 色婷婷综合久久久中文一区二区| 蜜桃av噜噜一区二区三区小说| 中文字幕一区二区5566日韩| 日韩欧美一区在线| 欧美午夜不卡在线观看免费| 国产69精品久久99不卡| 日韩av不卡在线观看| 亚洲日本免费电影| 久久精品在线观看| 日韩精品一区二区三区在线| 色婷婷一区二区| 波多野结衣在线一区| 久久国产精品99精品国产| 亚洲图片欧美色图| 亚洲欧美综合网| 中文字幕在线视频一区| 久久久九九九九| 亚洲精品一线二线三线| 日韩一区二区三区免费看 | 69久久99精品久久久久婷婷 | 日韩欧美国产三级电影视频| 欧美日韩另类一区| 在线看不卡av| 欧美性色黄大片| 在线观看国产日韩| 日本丶国产丶欧美色综合|