国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

英偉達聯(lián)手MIT清北發(fā)布SANA 1.5!線性擴散Transformer再刷文生圖新SOTA

AIGC動態(tài)9個月前發(fā)布 新智元
294 0 0

英偉達聯(lián)手MIT清北發(fā)布SANA 1.5!線性擴散Transformer再刷文生圖新SOTA

原標題:英偉達聯(lián)手MIT清北發(fā)布SANA 1.5!線性擴散Transformer再刷文生圖新SOTA
文章來源:新智元
內(nèi)容字數(shù):7982字

SANA 1.5:高效可擴展的文本生成圖像模型

近年來,文本生成圖像技術飛速發(fā)展,但模型規(guī)模的擴大也帶來了巨大的計算成本。為了解決這一問題,英偉達聯(lián)合MIT、清華、北大等機構的研究人員,在SANA 1.0的基礎上,推出了SANA 1.5,一種高效可擴展的線性擴散Transformer模型。SANA 1.5通過三項創(chuàng)新,在保持甚至提升生成質(zhì)量的同時,大幅降低了訓練和推理成本。

1. 高效模型增長策略

SANA 1.5提出了一種高效的模型增長策略,能夠?qū)⒛P蛥?shù)從16億(20層)擴展到48億(60層),同時顯著減少計算資源消耗。該策略并非從頭開始訓練大模型,而是通過有策略地初始化額外模塊,保留小模型的先驗知識,從而減少約60%的訓練時間。研究者比較了三種初始化策略,最終選擇“部分保留初始化”方法,因為它簡單且穩(wěn)定。預訓練的層繼續(xù)發(fā)揮特征提取作用,新增層從恒等映射起步,逐步學習優(yōu)化特征表示。

2. 模型深度剪枝技術

SANA 1.5引入了模型深度剪枝技術,通過分析Transformer塊的輸入輸出相似性,識別并保留關鍵塊,實現(xiàn)高效的模型壓縮。這種方法受Minitron啟發(fā),頭部和尾部塊的重要性較高,而中間層則主要用于逐步優(yōu)化生成結(jié)果。剪枝后,通過少量微調(diào)即可恢復模型質(zhì)量,實現(xiàn)靈活的模型配置。實驗表明,剪枝后的16億參數(shù)模型能達到與完整的48億參數(shù)模型相近的質(zhì)量。

3. 推理時擴展策略

SANA 1.5提出了一種推理期間擴展策略,通過增加采樣次數(shù)而非增加去噪步驟來提升生成質(zhì)量。該策略利用視覺語言模型(VLM)對生成的圖像進行評價和篩選,選擇與文本提示匹配度最高的圖像。實驗結(jié)果顯示,這種方法將GenEval分數(shù)從0.72提升至0.80,顯著提高了生成圖像的質(zhì)量和準確性。

4. 內(nèi)存高效優(yōu)化器

為了實現(xiàn)大模型的高效訓練與微調(diào),SANA 1.5使用了CAME-8bit優(yōu)化器,它比AdamW-32bit減少了約8倍的內(nèi)存使用,同時保持訓練穩(wěn)定性。這使得在消費級GPU上微調(diào)數(shù)十億參數(shù)的模型成為可能。

5. SANA 1.5的性能

SANA 1.5在GenEval基準測試中達到了最先進的性能。與傳統(tǒng)方法相比,其訓練收斂速度快2.5倍,GenEval分數(shù)從0.66提升至0.80。SANA-4.8B模型的參數(shù)數(shù)量遠小于其他先進模型,但生成質(zhì)量卻能達到甚至超越它們。此外,SANA 1.5在推理速度和吞吐量方面也具有顯著優(yōu)勢。

6. SANA 1.0的核心創(chuàng)新

SANA 1.0的核心創(chuàng)新在于其高效的設計:深度壓縮自動編碼器(32倍壓縮比)、線性DiT(線性注意力機制,降低計算復雜度)、僅解碼文本編碼器(Gemma模型)以及高效的訓練和采樣方法(Flow-DPM-Solver)。這些創(chuàng)新使得SANA-0.6B模型在保持與大型擴散模型相當?shù)纳少|(zhì)量的同時,模型體積縮小了20倍,數(shù)據(jù)處理能力提升了100倍以上,甚至能在普通筆記本電腦上運行。

總而言之,SANA 1.5通過高效的模型增長、深度剪枝和推理時擴展策略,在文本生成圖像任務中取得了顯著的成果,為構建高效可擴展的大模型提供了新的思路。


聯(lián)系作者

文章來源:新智元
作者微信:
作者簡介:智能+中國主平臺,致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發(fā)展,關注人機融合、人工智能和機器人對人類社會與文明進化的影響,領航中國新智能時代。

閱讀原文
? 版權聲明
蟬鏡AI數(shù)字人

相關文章

蟬鏡AI數(shù)字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        国产精品影视在线| 亚洲va天堂va国产va久| 国产精品视频yy9299一区| 日本中文字幕一区二区有限公司| 欧美视频一区在线| 香蕉加勒比综合久久| 日韩天堂在线观看| 国产一区激情在线| 国产精品国产三级国产| 日本韩国欧美在线| 极品美女销魂一区二区三区免费| 日本一区二区三区久久久久久久久不 | 麻豆精品一二三| 精品处破学生在线二十三| 国产精品99久久久久久久女警| 国产精品国产自产拍高清av王其| 在线免费观看一区| 韩国理伦片一区二区三区在线播放| 国产色一区二区| 欧美日韩精品二区第二页| 国产在线视频一区二区三区| 亚洲精品一卡二卡| 日韩欧美在线1卡| 成人激情免费电影网址| 午夜国产精品一区| 国产精品二三区| 欧美va天堂va视频va在线| 色综合久久天天综合网| 国产一区二区三区不卡在线观看| 亚洲免费高清视频在线| 久久综合久久综合久久综合| 91官网在线观看| 成熟亚洲日本毛茸茸凸凹| 毛片av一区二区| 亚洲综合丁香婷婷六月香| 欧美精品一区二区三区高清aⅴ| 色综合天天狠狠| 国产最新精品免费| 美女脱光内衣内裤视频久久影院| 夜夜嗨av一区二区三区网页| 国产日韩欧美一区二区三区乱码 | 色综合天天综合色综合av| 九九精品视频在线看| 欧美一区二区三区免费| 精品日本一线二线三线不卡| 波波电影院一区二区三区| 日韩一区精品视频| 亚洲激情av在线| 国产精品麻豆视频| 久久综合久久久久88| 91精品国产欧美一区二区成人| 91亚洲精华国产精华精华液| 成人av网站免费| 成人va在线观看| 国产精品资源在线观看| 久久er99精品| 黄一区二区三区| 六月丁香综合在线视频| 免费精品99久久国产综合精品| 日本系列欧美系列| 男人的天堂亚洲一区| 久久99最新地址| 国产精品77777| 国产91精品一区二区麻豆亚洲| 国产91精品入口| 91丨porny丨首页| 91猫先生在线| 51午夜精品国产| 久久综合国产精品| 国产精品美女久久久久aⅴ国产馆 国产精品美女久久久久av爽李琼 国产精品美女久久久久高潮 | 国产在线精品一区在线观看麻豆| 免费日韩伦理电影| 国内欧美视频一区二区| 国产精品系列在线观看| 91视频观看视频| 欧美日韩国产片| 久久久另类综合| 亚洲美女屁股眼交| 日韩av中文字幕一区二区| 六月丁香婷婷久久| av欧美精品.com| 欧美日韩在线不卡| 精品成人免费观看| 亚洲视频一二区| 美国十次综合导航| 色综合婷婷久久| 久久众筹精品私拍模特| 亚洲欧洲一区二区三区| 日韩成人av影视| 成人福利在线看| 91精品久久久久久蜜臀| 国产精品美女久久福利网站| 日韩黄色一级片| aaa欧美大片| 日韩欧美国产一区二区三区 | 国产精品国产三级国产普通话99 | 亚洲精品欧美二区三区中文字幕| 午夜视频一区二区三区| 国产精品综合网| 欧美日韩午夜精品| 中文字幕国产一区| 久久精品国产精品亚洲综合| 91色九色蝌蚪| 久久久亚洲精品石原莉奈| 亚洲精品成人精品456| 国产精品自在在线| 日韩视频一区二区| 亚洲一区在线观看免费观看电影高清| 九九热在线视频观看这里只有精品| 91久久奴性调教| 亚洲欧洲中文日韩久久av乱码| 韩国三级电影一区二区| 欧美精品v日韩精品v韩国精品v| 国产精品国产三级国产aⅴ入口| 久久er精品视频| 69精品人人人人| 亚洲一区二区三区视频在线| 成人h动漫精品| 2017欧美狠狠色| 日韩av网站免费在线| 欧美系列日韩一区| 亚洲精品一二三区| 91色视频在线| 亚洲精品一二三| 91搞黄在线观看| 亚洲一级片在线观看| 91亚洲永久精品| 亚洲欧洲日韩综合一区二区| 成人免费视频caoporn| 日本一区二区三区在线不卡| 国产精品99久久久久久宅男| 久久久综合激的五月天| 韩日欧美一区二区三区| 久久久国产精华| 成人av影视在线观看| 国产精品美女视频| 色琪琪一区二区三区亚洲区| 亚洲精品日韩专区silk| 色婷婷精品久久二区二区蜜臀av| 亚洲视频电影在线| 欧美日韩一二三区| 免费成人av在线| 精品国产伦一区二区三区观看方式 | 午夜精品久久久久久久久久 | 韩国毛片一区二区三区| 欧美精品一区二区三区蜜桃 | 久久国产三级精品| 国产亚洲一二三区| 99精品热视频| 亚洲大片精品永久免费| 欧美乱熟臀69xxxxxx| 九九在线精品视频| 国产精品五月天| 欧美午夜精品理论片a级按摩| 婷婷六月综合网| 欧美精品一区二区三区久久久| 成人性生交大片免费看中文| 亚洲人123区| 日韩视频在线一区二区| 国产成人啪免费观看软件| 成人欧美一区二区三区小说| 欧美日韩精品福利| 国产盗摄一区二区三区| 亚洲永久精品大片| 精品国产一区二区三区av性色 | 洋洋av久久久久久久一区| 99久久精品国产导航| 亚洲第一成年网| 精品毛片乱码1区2区3区| www.66久久| 视频一区在线播放| 久久久av毛片精品| 欧美在线一区二区| 韩日精品视频一区| 亚洲电影中文字幕在线观看| 精品日韩av一区二区| 在线亚洲一区二区| 国产电影精品久久禁18| 亚洲妇熟xx妇色黄| 欧美激情综合五月色丁香| 欧美日本一道本在线视频| 不卡欧美aaaaa| 国内国产精品久久| 亚洲国产一区二区视频| 国产精品一线二线三线| 国产精品家庭影院| 欧美色图在线观看| 国产一区二区三区在线观看免费视频| 国产精品久久777777| 宅男噜噜噜66一区二区66| 高清视频一区二区| 精品一区二区三区影院在线午夜| 亚洲欧美成人一区二区三区| 26uuu欧美| 日韩免费一区二区三区在线播放| 欧美在线一区二区| 色婷婷av一区| 色婷婷久久久亚洲一区二区三区| 国产91精品久久久久久久网曝门| 麻豆成人91精品二区三区|