国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

無(wú)需訓(xùn)練讓擴(kuò)散模型提速2倍,上交大提出Token級(jí)緩存方案|ICLR‘25

AIGC動(dòng)態(tài)8個(gè)月前發(fā)布 量子位
545 0 0

OpenSora/PixArt都能提速

無(wú)需訓(xùn)練讓擴(kuò)散模型提速2倍,上交大提出Token級(jí)緩存方案|ICLR‘25

原標(biāo)題:無(wú)需訓(xùn)練讓擴(kuò)散模型提速2倍,上交大提出Token級(jí)緩存方案|ICLR‘25
文章來(lái)源:量子位
內(nèi)容字?jǐn)?shù):5376字

上海交大團(tuán)隊(duì)提出ToCa:Token級(jí)緩存加速擴(kuò)散Transformer模型

近日,上海交通大學(xué)等團(tuán)隊(duì)提出的Toca(Token-wise Caching)模型,通過(guò)token粒度的緩存方法,實(shí)現(xiàn)了圖像和視頻生成模型上無(wú)需訓(xùn)練的兩倍以上的加速,相關(guān)論文已被ICLR 2025接收。該研究針對(duì)擴(kuò)散Transformer模型(如FLUX、Sora等)計(jì)算成本高昂的問(wèn)題,提出了一種創(chuàng)新的解決方案。

1. 背景:擴(kuò)散Transformer模型的挑戰(zhàn)

擴(kuò)散模型在圖像和視頻生成領(lǐng)域表現(xiàn)出色,但基于擴(kuò)散Transformer的模型計(jì)算成本巨大,推理速度緩慢,限制了其在實(shí)時(shí)應(yīng)用中的發(fā)展。雖然已有特征緩存方法用于加速,但這些方法忽略了不同token對(duì)緩存的敏感性差異,某些token的緩存甚至可能導(dǎo)致生成質(zhì)量大幅下降。

2. ToCa的核心貢獻(xiàn)

ToCa首次在擴(kuò)散Transformer模型加速中引入token級(jí)的緩存復(fù)用策略,并從誤差積累與傳播的角度分析特征緩存方法。其主要貢獻(xiàn)包括:

  1. 提出了基于token的特征緩存方法,自適應(yīng)地選擇最適合緩存的token,并根據(jù)不同網(wǎng)絡(luò)層應(yīng)用不同的緩存比率。
  2. 設(shè)計(jì)了四種token選擇策略,分別基于Self-Attention Map、Cross-Attention Map、token連續(xù)緩存次數(shù)和空間分布加權(quán),以更有效地選擇需要緩存的token。
  3. 在PixArt-α、OpenSora、DiT和FLUX等多種模型上進(jìn)行了廣泛實(shí)驗(yàn),證明了ToCa的有效性,在OpenSora和PixArt-α上分別實(shí)現(xiàn)了2.36倍和1.93倍的接近無(wú)損加速。

3. ToCa的工作機(jī)制

ToCa的緩存-復(fù)用流程包括三個(gè)步驟:

  1. Cache初始化:推理一個(gè)完整的時(shí)間步,將各層的特征放入緩存。
  2. 重要性得分計(jì)算:計(jì)算每個(gè)token的重要性得分,將重要性最低的token標(biāo)記為緩存狀態(tài),不參與后續(xù)計(jì)算。
  3. Cache更新:從緩存中調(diào)出被緩存token的輸出,并將新計(jì)算的token輸出更新到緩存中。這個(gè)循環(huán)通常持續(xù)2-4個(gè)時(shí)間步。

ToCa設(shè)計(jì)了四種從不同角度計(jì)算token重要性得分的方法,并在實(shí)際應(yīng)用中進(jìn)行加權(quán)求和。

4. 實(shí)驗(yàn)結(jié)果與分析

ToCa在圖像生成模型(PixArt-α、FLUX、DiT)和視頻生成模型(OpenSora)上的實(shí)驗(yàn)結(jié)果表明,其加速效果顯著優(yōu)于其他方法,并在生成質(zhì)量上保持了較高的水平。例如,在OpenSora上實(shí)現(xiàn)了高達(dá)2.36倍的無(wú)損加速。實(shí)驗(yàn)還顯示,ToCa在圖像文本對(duì)齊和細(xì)節(jié)還原方面也具有優(yōu)勢(shì)。

5. 總結(jié)

ToCa作為首個(gè)基于token級(jí)緩存加速擴(kuò)散Transformer模型的方法,具有良好的適配性和高效的加速效果,為擴(kuò)散模型的實(shí)際應(yīng)用提供了新的可能性。其無(wú)需訓(xùn)練的特性以及在多種模型和任務(wù)上的優(yōu)異表現(xiàn),使其成為一種具有前景的模型加速方案。


聯(lián)系作者

文章來(lái)源:量子位
作者微信:
作者簡(jiǎn)介:追蹤人工智能新趨勢(shì),關(guān)注科技行業(yè)新突破

閱讀原文
? 版權(quán)聲明
蟬鏡AI數(shù)字人

相關(guān)文章

蟬鏡AI數(shù)字人

暫無(wú)評(píng)論

暫無(wú)評(píng)論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        久久精品综合网| 激情小说亚洲一区| 麻豆视频一区二区| 亚洲一区二区三区四区中文字幕| 欧美大片日本大片免费观看| 亚洲色图欧洲色图| 国产一区二区视频在线| 日韩三级在线观看| 视频一区国产视频| 欧美图片一区二区三区| 亚洲国产美女搞黄色| 国产日韩综合av| 热久久免费视频| 另类中文字幕网| 亚洲一区二区在线免费看| 欧美精品久久99久久在免费线| 制服丝袜中文字幕亚洲| 捆绑调教一区二区三区| 国产一区啦啦啦在线观看| 91成人国产精品| 中文字幕日韩欧美一区二区三区| 一本大道久久精品懂色aⅴ| 日一区二区三区| 久久久久久久久久久久电影 | 久久嫩草精品久久久精品一| 国产在线一区观看| 亚洲精品国产a久久久久久 | 欧美精品三级在线观看| 国产电影精品久久禁18| 日本成人在线不卡视频| 综合激情网...| 久久一区二区视频| 午夜伊人狠狠久久| 欧美一区二区三区白人| 91免费版pro下载短视频| 国产在线国偷精品产拍免费yy| 一区二区三区在线免费| 欧美高清一级片在线观看| 日韩精品一区二区三区视频| 欧美嫩在线观看| 色网站国产精品| 99久久国产综合精品麻豆| 国产乱人伦偷精品视频免下载| 日韩在线观看一区二区| 午夜精品aaa| 天天亚洲美女在线视频| 亚洲综合色噜噜狠狠| 中文字幕中文字幕一区| 国产精品亲子乱子伦xxxx裸| 久久日韩粉嫩一区二区三区| 精品国产污污免费网站入口| 欧美肥妇free| 91精品国产91久久久久久一区二区| 欧美制服丝袜第一页| 欧美性猛交xxxx黑人交| 欧美日韩国产天堂| 日韩一区二区三区三四区视频在线观看 | 免费亚洲电影在线| 亚洲色欲色欲www在线观看| 亚洲欧洲日韩在线| 综合久久一区二区三区| 亚洲精选一二三| 一区二区三区美女| 亚洲成a人在线观看| 麻豆传媒一区二区三区| 欧美日韩一区二区三区视频| 成人一级视频在线观看| 波多野结衣欧美| 99这里只有久久精品视频| 日本久久精品电影| 欧美老女人在线| 精品久久一区二区| 日本一区二区视频在线| 亚洲欧美激情在线| 男人的天堂久久精品| 粉嫩av一区二区三区在线播放 | 欧美日韩激情在线| 日韩美女在线视频| 国产精品免费久久| 视频一区在线播放| 成人在线综合网站| 51久久夜色精品国产麻豆| 久久尤物电影视频在线观看| 亚洲精品欧美专区| 麻豆精品视频在线观看| 丁香网亚洲国际| 欧美日韩精品高清| 国产亚洲视频系列| 天堂va蜜桃一区二区三区漫画版| 国产麻豆精品视频| 欧美日韩中文字幕一区| 国产精品天干天干在线综合| 五月激情综合网| 99久久综合99久久综合网站| 日韩一区二区三区四区| 亚洲自拍另类综合| 国产乱码精品一品二品| 3atv一区二区三区| 国产精品九色蝌蚪自拍| 经典三级一区二区| 欧美日韩夫妻久久| 中文字幕一区二区三区在线播放| 免费成人av在线播放| 一本一本久久a久久精品综合麻豆| 欧美成人一区二区三区| 午夜在线成人av| 色吊一区二区三区| 国产精品成人在线观看| 国产传媒久久文化传媒| 精品国产网站在线观看| 男人的天堂久久精品| 欧美日本国产视频| 一区二区三区在线影院| 91丨九色丨蝌蚪丨老版| 国产女主播一区| 国产在线精品视频| 久久午夜免费电影| 久久99久久精品| 亚洲精品一区二区三区蜜桃下载 | 欧美二区三区91| 亚洲一区成人在线| 国产婷婷一区二区| 精品午夜一区二区三区在线观看| 91精品欧美一区二区三区综合在| 亚洲国产你懂的| 欧美视频一区二| 香蕉久久夜色精品国产使用方法 | 日韩美女精品在线| 懂色av一区二区三区免费看| 国产女主播一区| 成人免费毛片app| 国产精品女人毛片| 91丨porny丨首页| 亚洲日本韩国一区| 欧美午夜片在线观看| 日韩精彩视频在线观看| 日韩一区二区视频| 国产一区二区看久久| 国产精品免费人成网站| 色综合久久久久网| 亚洲国产精品一区二区www在线 | 欧美综合久久久| 舔着乳尖日韩一区| 日韩免费观看高清完整版| 国内精品视频666| 国产精品麻豆欧美日韩ww| 99久久国产免费看| 婷婷综合五月天| 精品国产一区二区国模嫣然| 丁香桃色午夜亚洲一区二区三区| 国产精品网站在线播放| 欧美三级中文字| 国产一区福利在线| 亚洲欧美一区二区三区极速播放| 欧美日韩综合一区| 国产毛片精品国产一区二区三区| 亚洲三级电影网站| 欧美电影免费观看高清完整版在| 成人深夜福利app| 日本视频在线一区| 中文无字幕一区二区三区| 在线精品视频一区二区| 极品少妇xxxx精品少妇偷拍| 亚洲欧洲成人精品av97| 欧美成人a∨高清免费观看| 99精品1区2区| 激情小说亚洲一区| 亚洲一区二区三区视频在线播放| 久久蜜桃香蕉精品一区二区三区| 91蜜桃免费观看视频| 九一九一国产精品| 午夜久久久久久电影| 国产精品蜜臀在线观看| 日韩一级片网站| 欧美在线视频不卡| 床上的激情91.| 美日韩黄色大片| 亚洲一卡二卡三卡四卡无卡久久 | 日韩精品午夜视频| 久久66热re国产| 亚洲一区在线观看视频| 国产日韩一级二级三级| 6080亚洲精品一区二区| 91丨九色丨尤物| 国产成人一区在线| 男女性色大片免费观看一区二区| 一区二区久久久久| 日韩毛片在线免费观看| 久久久精品综合| 精品国产乱码久久久久久闺蜜| 欧美日韩高清一区二区三区| 色综合久久久久久久久| 国产精品资源在线观看| 久热成人在线视频| 日韩中文字幕不卡| 三级在线观看一区二区| 亚洲成人自拍偷拍| 亚洲一区二区三区四区在线观看 | 免费高清在线一区| 日韩精品一级二级 |