国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

JanusFlow:顛覆視覺理解與生成的1.3B大模型

AIGC動(dòng)態(tài)11個(gè)月前發(fā)布 量子位
571 0 0

將兩種架構(gòu)融合在一起

JanusFlow:顛覆視覺理解與生成的1.3B大模型革命

原標(biāo)題:DeepSeek等團(tuán)隊(duì)新作JanusFlow: 1.3B大模型統(tǒng)一視覺理解和生成
文章來源:量子位
內(nèi)容字?jǐn)?shù):5423字

JanusFlow:統(tǒng)一視覺理解與生成的多模態(tài)模型

在多模態(tài)AI領(lǐng)域,JanusFlow模型的提出為視覺理解與生成任務(wù)的有效統(tǒng)一提供了新的思路。該模型由DeepSeek、北大、香港大學(xué)及清華大學(xué)的團(tuán)隊(duì)合作研發(fā),基于預(yù)訓(xùn)練視覺編碼器與多模態(tài)語言模型(MLLM)相結(jié)合的方法,展示了在視覺理解和生成任務(wù)上超越現(xiàn)有同規(guī)模模型的潛力。

1. 模型架構(gòu)

JanusFlow通過將理解框架和生成框架直接融合,實(shí)現(xiàn)了端到端的訓(xùn)練。其核心設(shè)計(jì)包括:

  • 采用解耦的視覺編碼器,分別優(yōu)化理解與生成能力。
  • 利用理解端編碼器對(duì)生成端特征進(jìn)行表征對(duì)齊,提升訓(xùn)練效率。

2. 關(guān)鍵組件

在基礎(chǔ)的1.3B規(guī)模LLM上,JanusFlow引入了以下組件:

  • 視覺理解編碼器:使用SigLIP將輸入圖片轉(zhuǎn)換為視覺嵌入,專注于視覺理解。
  • 視覺生成編解碼器:基于SDXL-VAE的輕量級(jí)模塊,編碼器和解碼器均采用雙層ConvNeXt Block處理特征。
  • 注意力機(jī)制:統(tǒng)一采用因果注意力處理理解與生成任務(wù),提高模型效率。

3. 訓(xùn)練策略

JanusFlow的訓(xùn)練分為三個(gè)階段:Adaptation、Pre-Training和Supervised Fine-Tuning。為了平衡理解與生成能力,預(yù)訓(xùn)練階段采用非對(duì)稱數(shù)據(jù)配比策略(理解:生成=2:8)。

4. 解耦與表征對(duì)齊

通過解耦理解與生成的視覺編碼器,JanusFlow能夠有效緩解在視覺編碼層面的沖突。利用REPA方法進(jìn)行表征對(duì)齊,進(jìn)一步提升生成任務(wù)的收斂效率。

5. 消融實(shí)驗(yàn)

團(tuán)隊(duì)進(jìn)行了六組對(duì)照實(shí)驗(yàn),驗(yàn)證了模型各組件的有效性。實(shí)驗(yàn)結(jié)果表明,采用解耦編碼器并使用SigLIP作為理解模塊能夠顯著提升模型在理解和生成任務(wù)上的性能。

6. 實(shí)驗(yàn)結(jié)果與評(píng)價(jià)

JanusFlow在多個(gè)評(píng)測(cè)標(biāo)準(zhǔn)上均取得了優(yōu)異成績(jī),超越了一些同規(guī)模的純理解模型和生成模型,展現(xiàn)出強(qiáng)勁的競(jìng)爭(zhēng)力。該模型成功構(gòu)建了一個(gè)統(tǒng)一的視覺理解與生成框架,具有簡(jiǎn)潔的架構(gòu)設(shè)計(jì)。

總結(jié)

JanusFlow通過融合自回歸LLM與Rectified Flow,顯著提升了多模態(tài)任務(wù)的整體表現(xiàn),為未來的多模態(tài)AI研究提供了新的方向。


聯(lián)系作者

文章來源:量子位
作者微信:
作者簡(jiǎn)介:追蹤人工智能新趨勢(shì),關(guān)注科技行業(yè)新突破

閱讀原文
? 版權(quán)聲明
蟬鏡AI數(shù)字人

相關(guān)文章

蟬鏡AI數(shù)字人

暫無評(píng)論

暫無評(píng)論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        欧美色精品天天在线观看视频| 亚洲人快播电影网| 欧美女孩性生活视频| 久久欧美一区二区| 水野朝阳av一区二区三区| 国产精品1区2区3区在线观看| 国产麻豆日韩欧美久久| 日韩视频在线永久播放| 日本欧美一区二区在线观看| 日本精品视频一区二区三区| 亚洲视频一区二区在线| 成人一区二区三区在线观看| 国产午夜精品福利| 国产一区二区福利| 欧美精品一区二区三区蜜臀| 婷婷综合五月天| 欧美精品色综合| 日本最新不卡在线| 宅男噜噜噜66一区二区66| 日韩成人免费电影| 日韩一区二区三区四区五区六区 | 一区二区三区日韩欧美| 99久久综合色| 亚洲色图视频免费播放| 一本久久a久久精品亚洲| 尤物视频一区二区| 欧美日韩国产成人在线免费| 亚洲不卡一区二区三区| 欧美一区二区啪啪| 国产a精品视频| 中文字幕亚洲欧美在线不卡| 91福利资源站| 久久精品国产第一区二区三区| 亚洲精品一区二区三区香蕉| 成人一区二区三区中文字幕| 亚洲色图自拍偷拍美腿丝袜制服诱惑麻豆| 色婷婷亚洲精品| 日本va欧美va欧美va精品| 欧美最猛黑人xxxxx猛交| 亚洲bt欧美bt精品| wwwwxxxxx欧美| 99国产精品久久久久| 天天色综合天天| 久久久亚洲精华液精华液精华液 | 一本大道综合伊人精品热热| 亚洲一区在线观看视频| 精品久久久久香蕉网| 成人av在线一区二区| 日韩在线一区二区| 91精品国产入口在线| 成人小视频在线| 香蕉成人啪国产精品视频综合网 | 亚洲欧美日韩精品久久久久| 懂色av一区二区三区免费看| 亚洲一区在线免费观看| 26uuu精品一区二区| 91久久一区二区| 国产剧情一区二区三区| 水蜜桃久久夜色精品一区的特点| 国产日韩欧美一区二区三区综合| 欧美网站一区二区| 成人ar影院免费观看视频| 亚洲一区二区三区在线播放| 久久九九99视频| 欧美日韩精品欧美日韩精品一| 国产成人鲁色资源国产91色综| 精品国产91久久久久久久妲己| 91免费版pro下载短视频| 奇米在线7777在线精品| 久久久综合激的五月天| 欧美日韩在线观看一区二区| 99久久99久久免费精品蜜臀| 国产在线日韩欧美| 日本亚洲欧美天堂免费| 一区二区高清免费观看影视大全 | 成人丝袜视频网| 国产精品亚洲一区二区三区妖精| 午夜欧美2019年伦理| 亚洲精品少妇30p| 91精品国产综合久久福利软件| 色婷婷一区二区三区四区| a级高清视频欧美日韩| youjizz久久| 91同城在线观看| 欧美三区在线观看| 久久无码av三级| 国产精品久久精品日日| 亚洲福利视频一区二区| 国产在线精品一区二区夜色 | ww久久中文字幕| 国产精品久久网站| 午夜精品一区二区三区三上悠亚| 精品一二线国产| 日本韩国精品在线| 久久人人97超碰com| 夜夜嗨av一区二区三区网页 | 欧美激情中文不卡| 亚洲第一综合色| 成人精品视频一区二区三区| 51午夜精品国产| 亚洲色图一区二区| 国产精品99久| 欧美一区二区三区免费在线看 | 国产日韩精品久久久| 亚洲国产日产av| 国产suv精品一区二区883| 欧美日本不卡视频| 亚洲图片欧美激情| 国产麻豆欧美日韩一区| 91精品国产综合久久福利| 亚洲人成网站在线| 成人精品国产免费网站| 久久综合色婷婷| 免费人成网站在线观看欧美高清| 色综合久久久久综合| 久久精品在这里| 六月丁香综合在线视频| 欧美日韩另类国产亚洲欧美一级| 国产精品久久一级| 成人开心网精品视频| 国产丝袜欧美中文另类| 另类小说欧美激情| 欧美一区二区精品久久911| 性久久久久久久久| 91黄色激情网站| 亚洲精品成人精品456| 91小视频免费观看| 综合分类小说区另类春色亚洲小说欧美| 精品中文字幕一区二区| 欧美大片拔萝卜| 同产精品九九九| 欧美一区二区三区思思人| 五月天久久比比资源色| 欧美日韩视频在线第一区| 亚洲国产精品天堂| 欧美老肥妇做.爰bbww视频| 亚洲成人高清在线| 欧美男同性恋视频网站| 亚洲午夜三级在线| 在线播放一区二区三区| 日韩精品成人一区二区在线| 51精品国自产在线| 久久9热精品视频| 久久久久99精品一区| 成人在线综合网站| 亚洲免费观看高清完整版在线| 91免费版在线| 午夜不卡av在线| 精品国产青草久久久久福利| 国产一区二区h| 亚洲天天做日日做天天谢日日欢| 91在线观看视频| 午夜精品123| 久久久91精品国产一区二区精品| 国产.精品.日韩.另类.中文.在线.播放| 国产日产欧美一区| 色哟哟国产精品| 婷婷成人激情在线网| 精品国产污污免费网站入口| 99精品偷自拍| 日本v片在线高清不卡在线观看| 久久蜜桃香蕉精品一区二区三区| 不卡av电影在线播放| 日韩激情av在线| 国产亚洲一本大道中文在线| 色综合中文字幕国产| 曰韩精品一区二区| 日韩午夜精品电影| 91丝袜美腿高跟国产极品老师| 亚洲成a人v欧美综合天堂下载| 久久久久亚洲蜜桃| 欧美色精品在线视频| 国产裸体歌舞团一区二区| 亚洲乱码国产乱码精品精的特点| 日韩欧美一卡二卡| 色婷婷综合久色| 国产在线视频一区二区| 亚洲午夜私人影院| 中文字幕亚洲一区二区av在线| 欧美精品第1页| gogo大胆日本视频一区| 免费在线观看视频一区| 亚洲欧美日韩国产综合在线| 风间由美性色一区二区三区| 亚洲成a人片综合在线| 中文字幕免费观看一区| 5858s免费视频成人| 91福利国产精品| 成人美女视频在线观看| 精品一区二区三区不卡| 亚洲大片免费看| 亚洲人精品一区| 欧美国产激情一区二区三区蜜月| 日韩精品专区在线影院重磅| 欧美亚洲一区三区| 一本色道**综合亚洲精品蜜桃冫| 国产成人综合在线播放| 精品中文字幕一区二区| 另类专区欧美蜜桃臀第一页| 无码av中文一区二区三区桃花岛|