国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

英偉達聯(lián)手MIT清北發(fā)布SANA 1.5!線性擴散Transformer再刷文生圖新SOTA

AIGC動態(tài)9個月前發(fā)布 新智元
294 0 0

英偉達聯(lián)手MIT清北發(fā)布SANA 1.5!線性擴散Transformer再刷文生圖新SOTA

原標題:英偉達聯(lián)手MIT清北發(fā)布SANA 1.5!線性擴散Transformer再刷文生圖新SOTA
文章來源:新智元
內(nèi)容字數(shù):7982字

SANA 1.5:高效可擴展的文本生成圖像模型

近年來,文本生成圖像技術飛速發(fā)展,但模型規(guī)模的擴大也帶來了巨大的計算成本。為了解決這一問題,英偉達聯(lián)合MIT、清華、北大等機構的研究人員,在SANA 1.0的基礎上,推出了SANA 1.5,一種高效可擴展的線性擴散Transformer模型。SANA 1.5通過三項創(chuàng)新,在保持甚至提升生成質(zhì)量的同時,大幅降低了訓練和推理成本。

1. 高效模型增長策略

SANA 1.5提出了一種高效的模型增長策略,能夠?qū)⒛P蛥?shù)從16億(20層)擴展到48億(60層),同時顯著減少計算資源消耗。該策略并非從頭開始訓練大模型,而是通過有策略地初始化額外模塊,保留小模型的先驗知識,從而減少約60%的訓練時間。研究者比較了三種初始化策略,最終選擇“部分保留初始化”方法,因為它簡單且穩(wěn)定。預訓練的層繼續(xù)發(fā)揮特征提取作用,新增層從恒等映射起步,逐步學習優(yōu)化特征表示。

2. 模型深度剪枝技術

SANA 1.5引入了模型深度剪枝技術,通過分析Transformer塊的輸入輸出相似性,識別并保留關鍵塊,實現(xiàn)高效的模型壓縮。這種方法受Minitron啟發(fā),頭部和尾部塊的重要性較高,而中間層則主要用于逐步優(yōu)化生成結(jié)果。剪枝后,通過少量微調(diào)即可恢復模型質(zhì)量,實現(xiàn)靈活的模型配置。實驗表明,剪枝后的16億參數(shù)模型能達到與完整的48億參數(shù)模型相近的質(zhì)量。

3. 推理時擴展策略

SANA 1.5提出了一種推理期間擴展策略,通過增加采樣次數(shù)而非增加去噪步驟來提升生成質(zhì)量。該策略利用視覺語言模型(VLM)對生成的圖像進行評價和篩選,選擇與文本提示匹配度最高的圖像。實驗結(jié)果顯示,這種方法將GenEval分數(shù)從0.72提升至0.80,顯著提高了生成圖像的質(zhì)量和準確性。

4. 內(nèi)存高效優(yōu)化器

為了實現(xiàn)大模型的高效訓練與微調(diào),SANA 1.5使用了CAME-8bit優(yōu)化器,它比AdamW-32bit減少了約8倍的內(nèi)存使用,同時保持訓練穩(wěn)定性。這使得在消費級GPU上微調(diào)數(shù)十億參數(shù)的模型成為可能。

5. SANA 1.5的性能

SANA 1.5在GenEval基準測試中達到了最先進的性能。與傳統(tǒng)方法相比,其訓練收斂速度快2.5倍,GenEval分數(shù)從0.66提升至0.80。SANA-4.8B模型的參數(shù)數(shù)量遠小于其他先進模型,但生成質(zhì)量卻能達到甚至超越它們。此外,SANA 1.5在推理速度和吞吐量方面也具有顯著優(yōu)勢。

6. SANA 1.0的核心創(chuàng)新

SANA 1.0的核心創(chuàng)新在于其高效的設計:深度壓縮自動編碼器(32倍壓縮比)、線性DiT(線性注意力機制,降低計算復雜度)、僅解碼文本編碼器(Gemma模型)以及高效的訓練和采樣方法(Flow-DPM-Solver)。這些創(chuàng)新使得SANA-0.6B模型在保持與大型擴散模型相當?shù)纳少|(zhì)量的同時,模型體積縮小了20倍,數(shù)據(jù)處理能力提升了100倍以上,甚至能在普通筆記本電腦上運行。

總而言之,SANA 1.5通過高效的模型增長、深度剪枝和推理時擴展策略,在文本生成圖像任務中取得了顯著的成果,為構建高效可擴展的大模型提供了新的思路。


聯(lián)系作者

文章來源:新智元
作者微信:
作者簡介:智能+中國主平臺,致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發(fā)展,關注人機融合、人工智能和機器人對人類社會與文明進化的影響,領航中國新智能時代。

閱讀原文
? 版權聲明
蟬鏡AI數(shù)字人

相關文章

蟬鏡AI數(shù)字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        亚洲日本va午夜在线电影| 欧美日本一道本| 一本一本久久a久久精品综合麻豆| 欧美一级高清片在线观看| 免费不卡在线视频| 欧美精品一区二区三区蜜臀| 美女网站在线免费欧美精品| 日韩欧美激情一区| 成人av网在线| 亚洲第一在线综合网站| 日韩欧美一级二级三级久久久| 韩国精品一区二区| ...xxx性欧美| 欧美精品18+| 粉嫩绯色av一区二区在线观看| 国产精品久久久久久亚洲毛片| 欧美亚一区二区| 激情久久五月天| 亚洲视频资源在线| 欧美一区二区三区免费在线看| 国产真实精品久久二三区| 欧美国产成人精品| 欧美精品日韩精品| www.欧美色图| 麻豆91精品视频| 亚洲美女屁股眼交| 欧美成人女星排行榜| 97久久精品人人做人人爽| 日本sm残虐另类| 中文字幕五月欧美| 精品国产第一区二区三区观看体验 | 日韩免费在线观看| 成人国产精品免费观看| 看片的网站亚洲| 一区二区免费看| 国产女人18水真多18精品一级做| 欧美男生操女生| 色av成人天堂桃色av| 国产一区二区三区香蕉| 天天色天天爱天天射综合| 中文字幕一区二区三区精华液| 日韩欧美国产小视频| 91美女精品福利| 日韩国产高清在线| 尤物av一区二区| 中文字幕日韩一区| 国产日本亚洲高清| 精品乱人伦小说| 欧美色视频在线| 岛国av在线一区| 国产麻豆精品95视频| 久久精品国内一区二区三区| 亚洲精品乱码久久久久久| 1区2区3区国产精品| 国产精品伦一区| 久久女同精品一区二区| 5566中文字幕一区二区电影| 成人av网站在线观看| 视频精品一区二区| 视频精品一区二区| 免费日本视频一区| 奇米影视7777精品一区二区| 五月综合激情婷婷六月色窝| 亚洲免费av观看| 欧美激情综合五月色丁香小说| 久久久久久久久久久黄色| 久久在线免费观看| 精品少妇一区二区三区视频免付费 | 成人黄色网址在线观看| 激情六月婷婷综合| 成人看片黄a免费看在线| gogo大胆日本视频一区| 色婷婷激情综合| 在线日韩一区二区| 欧美精品一二三四| 久久综合久久综合亚洲| 久久欧美一区二区| 国产欧美日韩麻豆91| 最近中文字幕一区二区三区| 亚洲男人的天堂在线观看| 亚洲一区二区三区三| 日本中文字幕一区二区视频| 激情综合色综合久久综合| 韩国欧美国产一区| 国产不卡视频在线播放| 色综合色综合色综合色综合色综合| 色哟哟精品一区| 日韩一卡二卡三卡四卡| 日韩欧美国产一区在线观看| 欧美v日韩v国产v| 精品久久久久一区二区国产| 国产精品久久久久久妇女6080 | 欧美日韩综合色| 91精品视频网| 国产精品久久久久aaaa| 亚洲成人精品在线观看| 麻豆国产一区二区| 91精彩视频在线观看| 日韩一区和二区| 欧美r级电影在线观看| 国产精品污网站| 亚洲综合清纯丝袜自拍| 久久福利视频一区二区| 风间由美一区二区三区在线观看 | 亚洲欧美视频一区| 国产自产2019最新不卡| 欧美午夜片在线观看| 国产欧美日韩一区二区三区在线观看| 专区另类欧美日韩| 久久av中文字幕片| 91视频.com| 久久一日本道色综合| 亚洲电影视频在线| 成人免费视频视频在线观看免费 | 99久久精品国产一区| 555www色欧美视频| 一区二区三区在线观看动漫| 成人看片黄a免费看在线| 精品日韩成人av| 亚洲图片欧美色图| 91亚洲精品久久久蜜桃网站 | 中文字幕高清一区| 精品一区二区三区在线观看国产 | 欧美激情一区二区三区在线| 日韩va欧美va亚洲va久久| 成年人网站91| 日本一区二区成人| 国产激情视频一区二区三区欧美| 3d成人动漫网站| 午夜伦理一区二区| 一本到一区二区三区| 国产精品久久久久久福利一牛影视| 国产毛片一区二区| 久久影院午夜论| 国产v综合v亚洲欧| 久久久久久久久久久电影| 九九在线精品视频| 久久久精品国产99久久精品芒果 | 久久精品人人做| 国产精品一区二区x88av| 久久午夜色播影院免费高清| 成人亚洲一区二区一| 国产精品色呦呦| 波多野结衣中文一区| 中文字幕欧美激情一区| 91亚洲国产成人精品一区二区三| 中文字幕不卡在线播放| 色综合久久天天综合网| 亚洲美女一区二区三区| 欧美精品久久久久久久多人混战 | 91黄色免费看| 一级中文字幕一区二区| 欧美日韩小视频| 青青草原综合久久大伊人精品优势| 欧美日韩激情一区二区三区| 青娱乐精品视频| 国产欧美综合在线观看第十页| 成人激情午夜影院| 亚洲免费观看在线视频| 日韩欧美三级在线| 成人午夜免费视频| 亚洲黄色av一区| 日韩免费在线观看| 成人va在线观看| 亚洲成人先锋电影| 欧美tickle裸体挠脚心vk| 97超碰欧美中文字幕| 日韩va亚洲va欧美va久久| 久久久久国产一区二区三区四区| 91在线一区二区| 日韩av中文字幕一区二区| 国产精品久久久久影视| 91精品黄色片免费大全| 成+人+亚洲+综合天堂| 日韩1区2区3区| 亚洲手机成人高清视频| 日韩一级片在线播放| 丁香一区二区三区| 日本在线不卡视频| 亚洲精品一卡二卡| 国产婷婷精品av在线| 91精品国产综合久久精品麻豆| 成人性生交大片免费| 午夜一区二区三区在线观看| 亚洲国产精品精华液ab| 日韩一区二区三区在线视频| 在线免费一区三区| 成人激情图片网| 国产一区二区三区香蕉| 婷婷久久综合九色国产成人| 亚洲三级视频在线观看| 久久久国产午夜精品| 欧美一区二区三区喷汁尤物| 色老汉av一区二区三区| 成人夜色视频网站在线观看| 麻豆freexxxx性91精品| 青椒成人免费视频| 天天影视涩香欲综合网 | 国产iv一区二区三区| 成人丝袜18视频在线观看|