国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

JanusFlow:顛覆視覺理解與生成的1.3B大模型

AIGC動(dòng)態(tài)11個(gè)月前發(fā)布 量子位
571 0 0

將兩種架構(gòu)融合在一起

JanusFlow:顛覆視覺理解與生成的1.3B大模型革命

原標(biāo)題:DeepSeek等團(tuán)隊(duì)新作JanusFlow: 1.3B大模型統(tǒng)一視覺理解和生成
文章來源:量子位
內(nèi)容字?jǐn)?shù):5423字

JanusFlow:統(tǒng)一視覺理解與生成的多模態(tài)模型

在多模態(tài)AI領(lǐng)域,JanusFlow模型的提出為視覺理解與生成任務(wù)的有效統(tǒng)一提供了新的思路。該模型由DeepSeek、北大、香港大學(xué)及清華大學(xué)的團(tuán)隊(duì)合作研發(fā),基于預(yù)訓(xùn)練視覺編碼器與多模態(tài)語言模型(MLLM)相結(jié)合的方法,展示了在視覺理解和生成任務(wù)上超越現(xiàn)有同規(guī)模模型的潛力。

1. 模型架構(gòu)

JanusFlow通過將理解框架和生成框架直接融合,實(shí)現(xiàn)了端到端的訓(xùn)練。其核心設(shè)計(jì)包括:

  • 采用解耦的視覺編碼器,分別優(yōu)化理解與生成能力。
  • 利用理解端編碼器對(duì)生成端特征進(jìn)行表征對(duì)齊,提升訓(xùn)練效率。

2. 關(guān)鍵組件

在基礎(chǔ)的1.3B規(guī)模LLM上,JanusFlow引入了以下組件:

  • 視覺理解編碼器:使用SigLIP將輸入圖片轉(zhuǎn)換為視覺嵌入,專注于視覺理解。
  • 視覺生成編解碼器:基于SDXL-VAE的輕量級(jí)模塊,編碼器和解碼器均采用雙層ConvNeXt Block處理特征。
  • 注意力機(jī)制:統(tǒng)一采用因果注意力處理理解與生成任務(wù),提高模型效率。

3. 訓(xùn)練策略

JanusFlow的訓(xùn)練分為三個(gè)階段:Adaptation、Pre-Training和Supervised Fine-Tuning。為了平衡理解與生成能力,預(yù)訓(xùn)練階段采用非對(duì)稱數(shù)據(jù)配比策略(理解:生成=2:8)。

4. 解耦與表征對(duì)齊

通過解耦理解與生成的視覺編碼器,JanusFlow能夠有效緩解在視覺編碼層面的沖突。利用REPA方法進(jìn)行表征對(duì)齊,進(jìn)一步提升生成任務(wù)的收斂效率。

5. 消融實(shí)驗(yàn)

團(tuán)隊(duì)進(jìn)行了六組對(duì)照實(shí)驗(yàn),驗(yàn)證了模型各組件的有效性。實(shí)驗(yàn)結(jié)果表明,采用解耦編碼器并使用SigLIP作為理解模塊能夠顯著提升模型在理解和生成任務(wù)上的性能。

6. 實(shí)驗(yàn)結(jié)果與評(píng)價(jià)

JanusFlow在多個(gè)評(píng)測(cè)標(biāo)準(zhǔn)上均取得了優(yōu)異成績(jī),超越了一些同規(guī)模的純理解模型和生成模型,展現(xiàn)出強(qiáng)勁的競(jìng)爭(zhēng)力。該模型成功構(gòu)建了一個(gè)統(tǒng)一的視覺理解與生成框架,具有簡(jiǎn)潔的架構(gòu)設(shè)計(jì)。

總結(jié)

JanusFlow通過融合自回歸LLM與Rectified Flow,顯著提升了多模態(tài)任務(wù)的整體表現(xiàn),為未來的多模態(tài)AI研究提供了新的方向。


聯(lián)系作者

文章來源:量子位
作者微信:
作者簡(jiǎn)介:追蹤人工智能新趨勢(shì),關(guān)注科技行業(yè)新突破

閱讀原文
? 版權(quán)聲明
蟬鏡AI數(shù)字人

相關(guān)文章

蟬鏡AI數(shù)字人

暫無評(píng)論

暫無評(píng)論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        国产精品丝袜在线| 成人v精品蜜桃久久一区| 久久精品久久综合| 欧美中文字幕不卡| 亚洲小少妇裸体bbw| 欧美日韩亚洲综合| 日本不卡一二三区黄网| 日韩欧美电影一区| 成人av电影免费在线播放| 亚洲美女视频在线| 欧美美女网站色| 国产91精品精华液一区二区三区 | 91麻豆精品国产| 精品亚洲porn| 亚洲免费在线视频一区 二区| 一本大道久久a久久精二百| 亚洲成a人片在线观看中文| 精品国产1区2区3区| 97精品久久久久中文字幕| 亚洲福中文字幕伊人影院| 欧美r级在线观看| 91黄色免费版| 国产一区二区三区视频在线播放| 亚洲精品免费播放| 国产精品婷婷午夜在线观看| 欧美丰满少妇xxxxx高潮对白| 成人黄色777网| 日本aⅴ精品一区二区三区| 日本一区二区三区免费乱视频| 欧美日韩在线播| 91色在线porny| 国产精品1024| 麻豆91免费观看| 亚洲www啪成人一区二区麻豆| 日本一区二区电影| 精品国产免费人成在线观看| 精品视频在线免费| 91亚洲精华国产精华精华液| 国产二区国产一区在线观看| 欧美自拍丝袜亚洲| 国产精品国产三级国产aⅴ无密码| 精品久久久久av影院| 欧美zozo另类异族| 国产日韩欧美亚洲| 亚洲综合精品自拍| 日本一区二区不卡视频| 日韩一区二区电影| 欧美视频一区在线观看| 成人网在线播放| 国产一区二区不卡| 麻豆一区二区三区| 青草国产精品久久久久久| 亚洲大片在线观看| 日韩高清国产一区在线| 亚洲国产精品久久人人爱蜜臀| 亚洲视频在线观看三级| 国产精品亲子乱子伦xxxx裸| 久久久久一区二区三区四区| 日韩三级电影网址| 精品日韩一区二区| 国产色综合一区| 欧美高清在线一区二区| 国产精品九色蝌蚪自拍| 综合欧美一区二区三区| 亚洲免费av高清| 亚洲电影一区二区| 日本 国产 欧美色综合| 久久66热re国产| 国产成人综合在线| 波多野结衣精品在线| 色哟哟国产精品免费观看| 色婷婷综合激情| 337p亚洲精品色噜噜狠狠| 日韩欧美中文一区二区| 久久蜜桃一区二区| 国产精品不卡在线| 亚洲午夜视频在线观看| 日韩中文字幕不卡| 久久狠狠亚洲综合| 成人黄色电影在线| 在线播放日韩导航| 国产日韩av一区| 五月激情六月综合| 国产成人自拍网| 欧美探花视频资源| 亚洲精品一区二区三区福利 | 国模一区二区三区白浆| 福利一区二区在线| 欧美性大战久久久久久久| 日韩免费高清视频| 亚洲人精品一区| 国产尤物一区二区在线| 91日韩在线专区| 精品免费一区二区三区| 亚洲视频你懂的| 激情六月婷婷久久| 在线国产电影不卡| 中文字幕欧美国产| 免费在线视频一区| 一本一道久久a久久精品| 日韩久久精品一区| 亚洲国产va精品久久久不卡综合 | 日本不卡免费在线视频| 成人免费av资源| 久久久久久免费毛片精品| 一区二区三区日韩| 国产69精品久久777的优势| 欧美肥妇free| 一区二区三区在线看| 国产一区日韩二区欧美三区| 欧美亚洲图片小说| 一区在线中文字幕| 国产精品综合二区| 日韩午夜中文字幕| 天天色图综合网| 欧美日韩亚洲另类| 亚洲桃色在线一区| 国产成人午夜片在线观看高清观看| 欧美挠脚心视频网站| 亚洲欧洲成人精品av97| 国产999精品久久久久久绿帽| 精品少妇一区二区三区在线视频| 性感美女久久精品| 日本精品视频一区二区| 中文字幕在线观看一区二区| 福利视频网站一区二区三区| 亚洲精品一区在线观看| 精品制服美女久久| 亚洲精品一区二区三区影院| 美女www一区二区| 欧美成人a∨高清免费观看| 日产精品久久久久久久性色| 欧美日本在线观看| 日韩电影在线一区二区三区| 91精品福利在线一区二区三区| 五月天婷婷综合| 91精品国产色综合久久ai换脸| 视频一区欧美精品| 91精品综合久久久久久| 蜜桃av噜噜一区二区三区小说| 91精品国产色综合久久久蜜香臀| 蜜桃传媒麻豆第一区在线观看| 26uuu国产日韩综合| 成人一区二区三区在线观看| 亚洲欧洲成人精品av97| 色哟哟在线观看一区二区三区| 亚洲综合久久久| 日韩视频在线一区二区| 国产精品一区二区三区99| 国产精品五月天| 欧美精三区欧美精三区| 久久精品999| 一区二区中文字幕在线| 欧美性极品少妇| 国产自产高清不卡| 国产精品超碰97尤物18| 欧美日韩aaaaaa| 国产成+人+日韩+欧美+亚洲| 亚洲欧美偷拍另类a∨色屁股| 欧美美女一区二区| 国产91精品久久久久久久网曝门| 一区二区三区久久久| 欧美精品一级二级| 黑人巨大精品欧美一区| 综合久久综合久久| 欧美疯狂性受xxxxx喷水图片| 成人中文字幕在线| 热久久国产精品| 亚洲欧美日韩久久| 日韩精品一区二区三区中文不卡| 成a人片亚洲日本久久| 婷婷夜色潮精品综合在线| 中文字幕乱码日本亚洲一区二区| 欧美日韩精品是欧美日韩精品| 精品一区二区三区免费毛片爱| 中文字幕一区二区视频| 欧美哺乳videos| 欧美丝袜自拍制服另类| 福利电影一区二区三区| 日本在线不卡视频| 亚洲6080在线| 亚洲男人的天堂网| 国产精品午夜春色av| 欧美精品一区二区三| 欧美午夜片在线看| jlzzjlzz欧美大全| 国内精品视频一区二区三区八戒| 亚洲国产精品久久久男人的天堂| 国产精品久久久久三级| 欧美xxxx老人做受| 91精品国产综合久久精品图片| 91在线视频官网| 成人黄色av网站在线| 国产精品自拍在线| 国产一区二区三区在线观看免费视频 | 欧美日韩美少妇| 色悠悠亚洲一区二区| av电影天堂一区二区在线观看| 国内精品国产成人国产三级粉色| 亚洲成人中文在线|