国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

稀疏注意力再添一員,華為諾亞推出高效選擇注意力架構ESA

AIGC動態7個月前發布 智猩猩GenAI
406 0 0

為大模型在長序列任務中的應用帶來了新的可能性。

稀疏注意力再添一員,華為諾亞推出高效選擇注意力架構ESA

原標題:稀疏注意力再添一員,華為諾亞推出高效選擇注意力架構ESA
文章來源:智猩猩GenAI
內容字數:6412字

華為諾亞方舟實驗室提出高效選擇性注意力算法ESA

本文介紹了華為諾亞方舟實驗室提出的高效選擇性注意力算法ESA (Efficient Selective Attention),該算法旨在解決大語言模型(LLMs)處理長文本序列時的效率瓶頸。ESA通過創新性的稀疏注意力機制,在顯著降低計算復雜度的同時,保持了模型的準確性,實現了上下文長度的有效擴展。

1. 長序列處理的挑戰

隨著序列長度的增加,注意力計算的復雜度呈平方級增長,這使得高效且準確的長序列推理成為一大挑戰?,F有方法試圖通過短序列訓練成果外推到長序列,但面臨著OOD(out-of-distribution)問題和計算量迅速增大的難題。選擇性注意力(Selective Attention)利用注意力矩陣的稀疏性,選擇部分token進行計算,但token粒度選擇會引入巨大的計算開銷。

2. ESA算法的核心思想

ESA算法的核心在于平衡選擇性注意力方法中的靈活性與效率。它通過以下兩個核心步驟實現高效的長序列處理:

  1. 高效選擇:ESA采用基于query感知的token粒度選擇機制。通過對query和key進行低維壓縮(約3.2%),計算token的重要性分數,并考慮周圍token的影響(鄰距影響力),避免僅選擇top-ranked token導致的性能下降。
  2. 注意力計算:在選擇關鍵token后,ESA使用被選中token的完整query和key進行注意力計算,而非對所有前序token進行計算,從而大幅降低復雜度。

ESA的具體實現包括將輸入序列的token分為四部分:全局注意力和局部注意力。初始token和ESA選擇的topk中間token拼接起來計算全局注意力,局部token用于計算窗口注意力,兩部分注意力融合計算最終的注意力。ESA采用chunked-prefill緩存key和value,動態選擇關鍵token。

3. ESA算法的創新點

ESA的主要創新在于其基于token的細粒度選擇性注意力機制。它能夠在prefilling和decoding階段動態選擇最關鍵的少量token,而不是固定block選擇或永久丟棄不重要的token。通過低維壓縮query和key,將注意力計算復雜度從平方級降低到線性級。此外,ESA引入了鄰距影響力,考慮周圍token的影響,進一步提升了模型性能。

4. 實驗結果與分析

論文在Longbench、InfiniteBench、NeedleBench等公開的長序列基準測試中驗證了ESA的性能。結果表明,ESA在高倍外推場景下優于全注意力算法,尤其在multi needles檢索場景下表現突出。實驗還分析了鄰距影響力超參數的影響,以及將所有head整合計算重要性分數對算法的影響。

5. 總結與展望

ESA有效平衡了長序列外推場景下的選擇性注意力中的靈活性和計算效率,無需模型參數增量微調即可擴展上下文長度。ESA通過選擇固定數量的最重要token計算注意力,并利用注意力矩陣的稀疏性,在輸入序列足夠長時,通過低維壓縮query和key有效降低計算復雜度。未來的研究方向包括探索更準確高效的選擇重要token的方法,以及軟硬件協同的高效外推方案。


聯系作者

文章來源:智猩猩GenAI
作者微信:
作者簡介:智猩猩旗下賬號,專注于生成式人工智能,主要分享技術文章、論文成果與產品信息。

閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        性欧美疯狂xxxxbbbb| 亚洲综合一二三区| 久久久亚洲精品石原莉奈| 日韩精品乱码av一区二区| 91精品国产一区二区| 韩国欧美国产一区| 韩国午夜理伦三级不卡影院| 欧美男生操女生| 午夜精品视频在线观看| 日韩欧美在线影院| av中文字幕一区| 五月综合激情婷婷六月色窝| 亚洲免费电影在线| 国产精品一区三区| 3d成人h动漫网站入口| 欧美午夜精品一区二区三区| 一区二区国产盗摄色噜噜| 在线播放一区二区三区| 国产精品1024久久| 青青草国产成人99久久| 亚洲三级久久久| 久久嫩草精品久久久精品一| 久久久久久9999| 亚洲男同性恋视频| 免费在线观看视频一区| 国产精品99久| 色就色 综合激情| 国产成人综合网站| 欧美怡红院视频| 26uuu国产一区二区三区| 欧美一区二区二区| 国产精品私人自拍| 国产人妖乱国产精品人妖| 精品国内片67194| 日韩午夜精品视频| 亚洲欧美日韩系列| 日韩不卡一区二区三区 | 国内精品国产成人| 欧美日韩一区二区在线观看| 欧美性高清videossexo| 国产丝袜欧美中文另类| 欧美成人一区二区| 欧美zozozo| 日本aⅴ亚洲精品中文乱码| 91亚洲大成网污www| 欧美视频在线观看一区| 国产精品国产a| 亚洲国产视频一区二区| 奇米影视7777精品一区二区| 色婷婷久久久久swag精品| 91九色02白丝porn| 亚洲色图视频网| 成年人国产精品| 日韩视频免费直播| 日本中文字幕不卡| 欧美精品18+| 激情五月婷婷综合| 久久久综合精品| 成人伦理片在线| 91精品国产91久久久久久一区二区 | 日韩无一区二区| 久久er99热精品一区二区| 国产麻豆视频一区二区| 欧美日韩在线播放三区| 日韩电影在线观看网站| 日韩限制级电影在线观看| 麻豆精品国产传媒mv男同| 欧美三级资源在线| 免费观看一级欧美片| 欧美本精品男人aⅴ天堂| 精品影院一区二区久久久| 色av一区二区| 日本不卡一二三区黄网| 久久在线免费观看| 99国产精品国产精品久久| 久久久久久综合| 欧美伊人精品成人久久综合97| 青青国产91久久久久久| 国产亚洲制服色| 欧美视频中文字幕| 成人综合在线观看| 日韩av一区二区三区| 国产精品人成在线观看免费 | 午夜影院在线观看欧美| 久久九九99视频| 欧美乱熟臀69xxxxxx| 成+人+亚洲+综合天堂| 久久国产福利国产秒拍| 亚洲主播在线播放| 国产精品动漫网站| 久久亚洲春色中文字幕久久久| 精品视频在线免费| 色综合久久88色综合天天免费| 国产精品亚洲人在线观看| 奇米影视在线99精品| 亚洲v日本v欧美v久久精品| 亚洲人一二三区| 樱花影视一区二区| 91福利国产精品| 国产成人免费高清| 国产一区二区三区四区五区美女 | 亚洲国产精品自拍| 一区二区三区四区中文字幕| 国产精品热久久久久夜色精品三区 | 欧美日韩国产一区二区三区地区| 99久久精品国产精品久久| 成人午夜免费电影| 国产精品一区一区三区| 成人激情动漫在线观看| 成人激情午夜影院| jizzjizzjizz欧美| 97精品国产露脸对白| 色综合天天综合| 精品一区二区三区久久久| 毛片不卡一区二区| 狠狠色狠狠色综合| 国产精品一品视频| 国产91精品久久久久久久网曝门| 国产精品久久久一本精品 | 日本一区二区三区四区在线视频| 国产精品久久久久久久岛一牛影视 | 亚洲精品一区二区三区四区高清 | 精品久久久影院| 国产女人aaa级久久久级| 综合分类小说区另类春色亚洲小说欧美 | 国产乱妇无码大片在线观看| 日韩一区二区影院| 一区二区三国产精华液| 精品一区二区三区av| 在线观看亚洲专区| 国产69精品久久久久777| 99久久精品久久久久久清纯| 欧美一区二区视频在线观看2022| 2023国产精品| 免费高清在线视频一区·| 99久久精品国产网站| 久久综合色8888| 亚洲综合男人的天堂| 国产麻豆欧美日韩一区| 欧美巨大另类极品videosbest| 欧美高清在线一区| 夜夜嗨av一区二区三区网页| 国产伦精一区二区三区| 欧美日韩一区中文字幕| 亚洲日本va在线观看| 成人91在线观看| 成人免费在线播放视频| 日韩精品一卡二卡三卡四卡无卡| 99精品视频免费在线观看| 国产午夜亚洲精品午夜鲁丝片| 日本不卡的三区四区五区| 69精品人人人人| 美女高潮久久久| 欧美精品一区二区高清在线观看| 93久久精品日日躁夜夜躁欧美| 亚洲欧美在线视频| 91高清视频在线| 麻豆国产欧美一区二区三区| 精品伦理精品一区| 丁香亚洲综合激情啪啪综合| 国产精品丝袜一区| 91久久精品一区二区三| 首页欧美精品中文字幕| 欧美成人精品福利| 成人在线视频一区| 中文字幕在线视频一区| 欧美午夜片在线观看| 精品一区二区三区在线播放| 久久久欧美精品sm网站 | 国产成人精品午夜视频免费 | 99精品偷自拍| 麻豆精品久久精品色综合| 国产精品久久网站| 欧美狂野另类xxxxoooo| 国产美女主播视频一区| 一区二区在线电影| 久久久国产一区二区三区四区小说| 99久久精品国产网站| 蜜桃视频在线观看一区| 日韩一区在线免费观看| 日韩小视频在线观看专区| 色吧成人激情小说| 国产乱码精品一区二区三| 日韩不卡一区二区| 日韩极品在线观看| 夜夜亚洲天天久久| 亚洲图片欧美激情| 国产精品不卡在线| 日本一区二区久久| 久久这里都是精品| 精品国产一区二区国模嫣然| 欧美日韩三级视频| 欧美视频在线一区| 欧美最猛黑人xxxxx猛交| 91一区二区三区在线播放| 成人激情免费电影网址| 成人午夜视频福利| 成人av第一页| 日本韩国欧美一区| 欧美日韩亚洲另类|