国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

無(wú)需訓(xùn)練讓擴(kuò)散模型提速2倍,上交大提出Token級(jí)緩存方案|ICLR‘25

AIGC動(dòng)態(tài)8個(gè)月前發(fā)布 量子位
545 0 0

OpenSora/PixArt都能提速

無(wú)需訓(xùn)練讓擴(kuò)散模型提速2倍,上交大提出Token級(jí)緩存方案|ICLR‘25

原標(biāo)題:無(wú)需訓(xùn)練讓擴(kuò)散模型提速2倍,上交大提出Token級(jí)緩存方案|ICLR‘25
文章來(lái)源:量子位
內(nèi)容字?jǐn)?shù):5376字

上海交大團(tuán)隊(duì)提出ToCa:Token級(jí)緩存加速擴(kuò)散Transformer模型

近日,上海交通大學(xué)等團(tuán)隊(duì)提出的Toca(Token-wise Caching)模型,通過(guò)token粒度的緩存方法,實(shí)現(xiàn)了圖像和視頻生成模型上無(wú)需訓(xùn)練的兩倍以上的加速,相關(guān)論文已被ICLR 2025接收。該研究針對(duì)擴(kuò)散Transformer模型(如FLUX、Sora等)計(jì)算成本高昂的問(wèn)題,提出了一種創(chuàng)新的解決方案。

1. 背景:擴(kuò)散Transformer模型的挑戰(zhàn)

擴(kuò)散模型在圖像和視頻生成領(lǐng)域表現(xiàn)出色,但基于擴(kuò)散Transformer的模型計(jì)算成本巨大,推理速度緩慢,限制了其在實(shí)時(shí)應(yīng)用中的發(fā)展。雖然已有特征緩存方法用于加速,但這些方法忽略了不同token對(duì)緩存的敏感性差異,某些token的緩存甚至可能導(dǎo)致生成質(zhì)量大幅下降。

2. ToCa的核心貢獻(xiàn)

ToCa首次在擴(kuò)散Transformer模型加速中引入token級(jí)的緩存復(fù)用策略,并從誤差積累與傳播的角度分析特征緩存方法。其主要貢獻(xiàn)包括:

  1. 提出了基于token的特征緩存方法,自適應(yīng)地選擇最適合緩存的token,并根據(jù)不同網(wǎng)絡(luò)層應(yīng)用不同的緩存比率。
  2. 設(shè)計(jì)了四種token選擇策略,分別基于Self-Attention Map、Cross-Attention Map、token連續(xù)緩存次數(shù)和空間分布加權(quán),以更有效地選擇需要緩存的token。
  3. 在PixArt-α、OpenSora、DiT和FLUX等多種模型上進(jìn)行了廣泛實(shí)驗(yàn),證明了ToCa的有效性,在OpenSora和PixArt-α上分別實(shí)現(xiàn)了2.36倍和1.93倍的接近無(wú)損加速。

3. ToCa的工作機(jī)制

ToCa的緩存-復(fù)用流程包括三個(gè)步驟:

  1. Cache初始化:推理一個(gè)完整的時(shí)間步,將各層的特征放入緩存。
  2. 重要性得分計(jì)算:計(jì)算每個(gè)token的重要性得分,將重要性最低的token標(biāo)記為緩存狀態(tài),不參與后續(xù)計(jì)算。
  3. Cache更新:從緩存中調(diào)出被緩存token的輸出,并將新計(jì)算的token輸出更新到緩存中。這個(gè)循環(huán)通常持續(xù)2-4個(gè)時(shí)間步。

ToCa設(shè)計(jì)了四種從不同角度計(jì)算token重要性得分的方法,并在實(shí)際應(yīng)用中進(jìn)行加權(quán)求和。

4. 實(shí)驗(yàn)結(jié)果與分析

ToCa在圖像生成模型(PixArt-α、FLUX、DiT)和視頻生成模型(OpenSora)上的實(shí)驗(yàn)結(jié)果表明,其加速效果顯著優(yōu)于其他方法,并在生成質(zhì)量上保持了較高的水平。例如,在OpenSora上實(shí)現(xiàn)了高達(dá)2.36倍的無(wú)損加速。實(shí)驗(yàn)還顯示,ToCa在圖像文本對(duì)齊和細(xì)節(jié)還原方面也具有優(yōu)勢(shì)。

5. 總結(jié)

ToCa作為首個(gè)基于token級(jí)緩存加速擴(kuò)散Transformer模型的方法,具有良好的適配性和高效的加速效果,為擴(kuò)散模型的實(shí)際應(yīng)用提供了新的可能性。其無(wú)需訓(xùn)練的特性以及在多種模型和任務(wù)上的優(yōu)異表現(xiàn),使其成為一種具有前景的模型加速方案。


聯(lián)系作者

文章來(lái)源:量子位
作者微信:
作者簡(jiǎn)介:追蹤人工智能新趨勢(shì),關(guān)注科技行業(yè)新突破

閱讀原文
? 版權(quán)聲明
蟬鏡AI數(shù)字人

相關(guān)文章

蟬鏡AI數(shù)字人

暫無(wú)評(píng)論

暫無(wú)評(píng)論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        99re热这里只有精品免费视频| 天堂在线亚洲视频| 一区二区三区小说| 色狠狠av一区二区三区| 依依成人精品视频| 欧美日本一道本| 日本最新不卡在线| 国产午夜精品福利| 91麻豆国产自产在线观看| 亚洲美女偷拍久久| 欧美另类变人与禽xxxxx| 另类综合日韩欧美亚洲| 国产欧美精品一区| 在线播放中文字幕一区| 国产精品一二三在| 香蕉加勒比综合久久| 久久影院电视剧免费观看| 国产suv一区二区三区88区| 亚洲毛片av在线| 欧美成人午夜电影| 一本大道久久a久久综合婷婷 | 7777精品伊人久久久大香线蕉的| 美女尤物国产一区| 亚洲天堂中文字幕| 欧美va亚洲va| 欧美自拍丝袜亚洲| 懂色中文一区二区在线播放| 亚洲国产另类av| 亚洲国产精品国自产拍av| 欧美美女一区二区三区| 成人精品视频.| 蜜臀99久久精品久久久久久软件| 专区另类欧美日韩| 国产亚洲制服色| 欧美一级专区免费大片| 欧洲视频一区二区| av一区二区久久| 国产露脸91国语对白| 香蕉乱码成人久久天堂爱免费| 国产精品理论片| 国产欧美日韩亚州综合| 日韩欧美二区三区| 91精品国产综合久久精品麻豆| 欧美综合久久久| 色综合天天综合| 成人一区二区三区中文字幕| 久久精品国产澳门| 激情五月激情综合网| 人人超碰91尤物精品国产| 亚洲一区自拍偷拍| 依依成人精品视频| 夜色激情一区二区| 亚洲一区二区精品视频| 亚洲精选一二三| 一区二区三区四区五区视频在线观看 | 欧美激情在线免费观看| 欧美电视剧在线看免费| 欧美一级一区二区| 欧美大片一区二区| 日韩欧美一级二级| 精品国产一区二区精华| 精品国产乱码久久久久久蜜臀 | 亚洲国产aⅴ成人精品无吗| 亚洲欧美在线观看| 亚洲精品国产无天堂网2021| 国产精品福利在线播放| 亚洲人成影院在线观看| 一区二区国产盗摄色噜噜| 亚洲aaa精品| 久久精品久久精品| 国产一区二区中文字幕| 粉嫩久久99精品久久久久久夜| 99久久er热在这里只有精品15 | 国产91精品久久久久久久网曝门| 成人一区二区三区视频在线观看| 99免费精品在线| 欧美影片第一页| 日韩一区二区三区三四区视频在线观看| 欧美一区二区在线看| 久久久久久97三级| 亚洲精品国产成人久久av盗摄| 亚洲大片在线观看| 国产一区二三区好的| 色久优优欧美色久优优| 91精品国产综合久久久久久漫画| 久久亚洲精品小早川怜子| 自拍偷在线精品自拍偷无码专区| 亚洲一区二区免费视频| 国产精品一二二区| 在线观看91视频| 精品国产一区二区三区av性色| 国产精品国产三级国产aⅴ无密码 国产精品国产三级国产aⅴ原创 | 欧美日韩一卡二卡三卡| 精品精品国产高清a毛片牛牛| 亚洲欧洲成人精品av97| 日本不卡一二三区黄网| 国产一区啦啦啦在线观看| 在线亚洲欧美专区二区| 精品三级在线观看| 亚洲午夜在线观看视频在线| 国产成人av电影在线观看| 欧美二区三区的天堂| 亚洲免费观看在线观看| 国产一区美女在线| 欧美精品日韩综合在线| 亚洲色图在线播放| 久久成人av少妇免费| 欧美吻胸吃奶大尺度电影| 国产日韩欧美一区二区三区乱码 | 99久久久无码国产精品| 日韩欧美一二三| 亚洲午夜激情av| av爱爱亚洲一区| 国产午夜精品一区二区三区嫩草| 亚洲成人av电影| 色婷婷综合久久久久中文| 亚洲欧美一区二区三区国产精品| 免费人成黄页网站在线一区二区 | 欧美亚一区二区| 国产精品久久久久影院亚瑟| 韩日av一区二区| 日韩欧美亚洲国产另类| 日本午夜精品视频在线观看| 欧美亚洲动漫制服丝袜| 亚洲国产欧美一区二区三区丁香婷 | 亚洲一级不卡视频| av不卡在线观看| 国产精品天美传媒沈樵| 成人妖精视频yjsp地址| 中文字幕不卡三区| 成人免费观看视频| 国产精品污网站| 不卡一卡二卡三乱码免费网站| 久久久久久久综合色一本| 美女一区二区久久| 精品久久久久久久久久久久久久久久久 | 亚洲精品在线电影| 国产乱码字幕精品高清av | 91亚洲大成网污www| 亚洲少妇中出一区| 在线观看中文字幕不卡| 亚洲尤物在线视频观看| 6080yy午夜一二三区久久| 美女视频网站久久| 久久亚洲私人国产精品va媚药| 国产露脸91国语对白| 国产精品美女久久久久aⅴ国产馆| 成人黄色在线看| 亚洲愉拍自拍另类高清精品| 91精品久久久久久久99蜜桃| 美洲天堂一区二卡三卡四卡视频| 欧美精品一区二| www.久久久久久久久| 亚洲午夜免费电影| 久久综合色鬼综合色| av成人动漫在线观看| 日韩av一区二区在线影视| 精品国产伦一区二区三区观看方式| 国产999精品久久久久久绿帽| 亚洲欧洲精品一区二区三区不卡| 色狠狠一区二区三区香蕉| 蜜桃视频第一区免费观看| 欧美激情一区二区三区四区| 色婷婷av久久久久久久| 美女国产一区二区| 国产精品久久久久久久岛一牛影视 | 国产精品久久看| 欧美日本乱大交xxxxx| 国产成人亚洲精品狼色在线| 一区二区高清免费观看影视大全 | 看电视剧不卡顿的网站| 国产精品美女www爽爽爽| 欧美日本一区二区三区| 国产成人精品亚洲午夜麻豆| 亚洲成在人线在线播放| 日韩成人一级大片| 中文字幕国产一区二区| 91精品国产色综合久久不卡蜜臀 | 国产精品一区在线| 亚洲综合丁香婷婷六月香| 久久亚洲一区二区三区四区| 欧美日韩一本到| 一本高清dvd不卡在线观看 | 色综合久久久久综合体| 国产一区999| 青青草97国产精品免费观看| 亚洲欧美日韩中文播放 | 亚洲精品在线免费观看视频| 色狠狠综合天天综合综合| 成人午夜短视频| 国产在线麻豆精品观看| 免费的国产精品| 亚洲一区二区偷拍精品| 国产精品久久久久精k8| 久久综合久久鬼色中文字| 欧美电影免费观看高清完整版在| 欧美精品在线观看一区二区| 欧美视频一区二区三区四区| 欧洲色大大久久| 欧美日韩一卡二卡三卡|