国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

MetaMorph:智能多模態(tài)產(chǎn)品提升用戶(hù)體驗(yàn)與交互效率

AI工具9個(gè)月前發(fā)布 AI工具集
730 0 0

MetaMorph是一款先進(jìn)的多模態(tài)大模型(MLLM),通過(guò)指令微調(diào)(Instruction Tuning)實(shí)現(xiàn)視覺(jué)理解與生成。其創(chuàng)新的Visual-Predictive Instruction Tuning(VPiT)方法使得預(yù)訓(xùn)練的大型語(yǔ)言模型(LLM)能夠迅速轉(zhuǎn)變?yōu)橐粋€(gè)統(tǒng)一的自回歸模型,能夠生成文本和視覺(jué)token。MetaMorph在視覺(jué)理解和生成的基準(zhǔn)測(cè)試中表現(xiàn)出色,能夠利用從LLM預(yù)訓(xùn)練中獲得的世界知識(shí)和推理能力,克服其他生成模型常見(jiàn)的失敗模式。

MetaMorph是什么

MetaMorph是一款多模態(tài)大模型(MLLM),通過(guò)指令微調(diào)(Instruction Tuning)實(shí)現(xiàn)視覺(jué)理解與生成。它采用了一種名為Visual-Predictive Instruction Tuning(VPiT)的方法,使得預(yù)訓(xùn)練的大型語(yǔ)言模型(LLM)能夠迅速轉(zhuǎn)變?yōu)橐粋€(gè)統(tǒng)一的自回歸模型,能夠生成文本和視覺(jué)token。MetaMorph在視覺(jué)理解和生成的基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異,能夠基于從LLM預(yù)訓(xùn)練中獲得的世界知識(shí)和推理能力,克服其他生成模型常見(jiàn)的失敗模式。研究表明,LLM可能具備強(qiáng)大的“先驗(yàn)”視覺(jué)能力,這些能力可以通過(guò)相對(duì)簡(jiǎn)單的指令調(diào)整過(guò)程高效適應(yīng)于視覺(jué)理解與生成。

MetaMorph:智能多模態(tài)產(chǎn)品提升用戶(hù)體驗(yàn)與交互效率

MetaMorph的主要功能

  • 多模態(tài)理解與生成:MetaMorph通過(guò)VPiT技術(shù),使預(yù)訓(xùn)練的大型語(yǔ)言模型(LLM)能夠迅速轉(zhuǎn)變?yōu)橐粋€(gè)統(tǒng)一的自回歸模型,生成文本和視覺(jué)token,實(shí)現(xiàn)多模態(tài)理解與生成。
  • 視覺(jué)生成能力:MetaMorph在視覺(jué)生成方面能夠利用從LLM預(yù)訓(xùn)練中獲得的世界知識(shí)和推理能力,克服其他生成模型常見(jiàn)的失敗模式。
  • 隱式推理執(zhí)行:MetaMorph能夠在生成視覺(jué)token之前隱式地執(zhí)行推理步驟,例如根據(jù)提示詞生成相應(yīng)的圖像。
  • 處理專(zhuān)業(yè)術(shù)語(yǔ):與文本嵌入模型CLIP和T5相比,MetaMorph更有效地處理專(zhuān)業(yè)術(shù)語(yǔ),生成準(zhǔn)確的視覺(jué)標(biāo)記。
  • 統(tǒng)一建模方法:MetaMorph展示了統(tǒng)一建模方法,允許模型利用LLM的強(qiáng)大功能,從預(yù)訓(xùn)練的LLM中提取知識(shí)。
  • 競(jìng)爭(zhēng)力的表現(xiàn):MetaMorph在視覺(jué)理解和視覺(jué)生成基準(zhǔn)測(cè)試中都取得了競(jìng)爭(zhēng)力的表現(xiàn),優(yōu)于其他統(tǒng)一模型。

MetaMorph的技術(shù)原理

  • Visual-Predictive Instruction Tuning (VPiT):是一種簡(jiǎn)單而有效的視覺(jué)指令調(diào)優(yōu)方法,使預(yù)訓(xùn)練的大型語(yǔ)言模型(LLM)能迅速轉(zhuǎn)變?yōu)橐粋€(gè)統(tǒng)一的自回歸模型,生成文本和視覺(jué)token。
  • 多模態(tài)token預(yù)測(cè):VPiT教導(dǎo)LLM從以指令跟隨格式整理的圖像和文本數(shù)據(jù)輸入序列中預(yù)測(cè)離散的文本標(biāo)記和連續(xù)的視覺(jué)標(biāo)記。
  • 視覺(jué)生成能力與視覺(jué)理解的關(guān)聯(lián):研究發(fā)現(xiàn),視覺(jué)生成能力作為改進(jìn)的視覺(jué)理解的自然副產(chǎn)品出現(xiàn),并且可以通過(guò)少量的生成數(shù)據(jù)高效解鎖。
  • 理解和生成的不對(duì)稱(chēng)性:理解和生成視覺(jué)token的能力是相互關(guān)聯(lián)但不對(duì)稱(chēng)的。增加理解數(shù)據(jù)可以更有效地提高視覺(jué)理解和生成性能,而增加生成數(shù)據(jù)雖然可以提高生成質(zhì)量,但對(duì)視覺(jué)理解的提升效果較小。
  • 統(tǒng)一模型訓(xùn)練:基于上述發(fā)現(xiàn),MetaMorph模型使用VPiT來(lái)預(yù)測(cè)多模態(tài)token,基于各種數(shù)據(jù)源進(jìn)行訓(xùn)練,包括視覺(jué)問(wèn)答數(shù)據(jù)集和無(wú)文本注釋的純圖像和視頻數(shù)據(jù)。
  • 預(yù)訓(xùn)練LLM的知識(shí):MetaMorph能基于從LLM預(yù)訓(xùn)練中獲得的世界知識(shí)和推理能力,在視覺(jué)生成過(guò)程中克服其他生成模型常見(jiàn)的失敗模式。

MetaMorph的項(xiàng)目地址

MetaMorph的應(yīng)用場(chǎng)景

  • 視覺(jué)理解和視覺(jué)生成:通過(guò)指令調(diào)優(yōu)(VPiT)預(yù)測(cè)多模態(tài)token,利用各種數(shù)據(jù)源,包括視覺(jué)問(wèn)答數(shù)據(jù)集和無(wú)文本注釋的純圖像和視頻數(shù)據(jù)。
  • 知識(shí)提取與視覺(jué)token生成:MetaMorph能從預(yù)訓(xùn)練的大型語(yǔ)言模型(LLM)中提取知識(shí),并在生成視覺(jué)token之前隱式地執(zhí)行推理步驟。例如,輸入提示詞“斑蝶幼蟲(chóng)轉(zhuǎn)變形態(tài)后的動(dòng)物”,MetaMorph成功生成了蝴蝶的圖像。
  • 處理專(zhuān)業(yè)術(shù)語(yǔ)和語(yǔ)義難題:MetaMorph比CLIP和T5等文本嵌入模型更有效地處理專(zhuān)業(yè)術(shù)語(yǔ)和常見(jiàn)的語(yǔ)義難題,如否定和主觀性。
  • 多模態(tài)生成推理:MetaMorph能根據(jù)謎題提示生成圖像,例如“國(guó)家公園位于”。可以直接使用提示語(yǔ)而無(wú)需任何思維鏈(CoT)提示語(yǔ)“生成謎題圖片”。MetaMorph可以從需要多步推理的提示中生成正確的圖像。
  • 解決視覺(jué)謎題:MetaMorph能解決需要隱式推理的視覺(jué)謎題,例如在回答“一種樂(lè)器,這種樂(lè)器通常由提出狹義相對(duì)論的科學(xué)家演奏”的問(wèn)題時(shí),模型需要隱式地完成識(shí)別愛(ài)因斯坦、識(shí)別他的首選樂(lè)器是小提琴,直接生成正確的視覺(jué)token。
閱讀原文
? 版權(quán)聲明
蟬鏡AI數(shù)字人

相關(guān)文章

蟬鏡AI數(shù)字人

暫無(wú)評(píng)論

暫無(wú)評(píng)論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        椎名由奈av一区二区三区| 国产精品一区二区免费不卡 | 亚洲欧美色图小说| 日本不卡免费在线视频| 5566中文字幕一区二区电影| 日日摸夜夜添夜夜添亚洲女人| 在线观看不卡视频| 一区二区三区精密机械公司| 色哟哟一区二区| 亚洲成av人片www| 欧美一区二区久久| 麻豆专区一区二区三区四区五区| 欧美美女直播网站| 蜜桃一区二区三区在线| 国产亚洲欧美在线| 99久久婷婷国产| 亚洲第一狼人社区| 久久色中文字幕| 91极品视觉盛宴| 久草在线在线精品观看| 国产精品视频一二三区| 欧美亚洲一区二区在线| 精品中文av资源站在线观看| 欧美极品另类videosde| 欧美色图激情小说| 狠狠色丁香久久婷婷综| 亚洲久草在线视频| 精品嫩草影院久久| 色999日韩国产欧美一区二区| 日本伊人色综合网| 国产精品国产三级国产aⅴ中文 | 欧美精品一区二区不卡| 国产精品自在欧美一区| 亚洲乱码国产乱码精品精小说 | 精品久久久久久无| 91丝袜美女网| 韩国视频一区二区| 亚洲自拍另类综合| 久久久久久电影| 欧美区一区二区三区| 国产丶欧美丶日本不卡视频| 亚洲国产日韩精品| 中文无字幕一区二区三区 | 色就色 综合激情| 精一区二区三区| 一区二区欧美精品| 国产精品久久久久aaaa| 欧美成人性战久久| 欧美亚洲综合另类| av在线这里只有精品| 精品一区二区三区日韩| 丝袜美腿一区二区三区| 亚洲欧美日韩小说| 国产精品午夜电影| 久久免费看少妇高潮| 欧美一区二区在线视频| 欧美日韩亚州综合| 欧美自拍丝袜亚洲| 91视视频在线直接观看在线看网页在线看| 久久精品国产99国产精品| 亚洲图片一区二区| 亚洲成a人片在线观看中文| 亚洲你懂的在线视频| 国产精品伦理在线| 欧美国产日韩a欧美在线观看 | 欧美色国产精品| 91在线看国产| yourporn久久国产精品| 国产成人免费在线视频| 国产麻豆精品视频| 国产东北露脸精品视频| 国产91在线看| 99久久99久久精品免费观看| 国产91色综合久久免费分享| 国产一区二区在线影院| 国产成人99久久亚洲综合精品| 国产精品一区二区果冻传媒| 国精产品一区一区三区mba桃花 | 亚洲综合精品自拍| 亚洲美女视频在线| 一二三区精品福利视频| 首页国产丝袜综合| 捆绑调教一区二区三区| 精品综合免费视频观看| 国产福利视频一区二区三区| 成人高清免费在线播放| 一本色道久久综合亚洲91| 欧美日韩精品福利| 亚洲精品一区二区三区蜜桃下载 | 亚洲在线免费播放| 午夜视频一区二区| 日本欧美大码aⅴ在线播放| 蜜臀av一区二区在线观看| 久久超碰97人人做人人爱| 国产一区二区三区最好精华液 | 日韩综合在线视频| 国产精品一区二区久久不卡| 99re这里只有精品视频首页| 欧美精品一卡两卡| 久久综合久久综合九色| 一区二区三区小说| 精品一区二区三区蜜桃| 99视频超级精品| 日韩一区二区三区电影在线观看| 国产亚洲福利社区一区| 一二三区精品福利视频| 久久91精品久久久久久秒播| 91麻豆高清视频| 日韩精品中文字幕在线不卡尤物| 欧美激情一区在线| 三级一区在线视频先锋| www.欧美.com| 精品久久人人做人人爽| 亚洲制服丝袜在线| 国产91丝袜在线播放0| 91精品国产免费久久综合| 国产精品久久久久一区| 日本欧美加勒比视频| 91美女视频网站| 欧美成人vps| 婷婷六月综合网| 97久久精品人人澡人人爽| 精品久久国产字幕高潮| 亚洲国产日产av| 91美女在线视频| 国产精品视频一区二区三区不卡| 毛片不卡一区二区| 欧美精品少妇一区二区三区| 樱桃视频在线观看一区| 99re这里都是精品| 国产精品成人午夜| 国产91丝袜在线播放| 久久蜜臀中文字幕| 国产一区二区三区四| 欧美mv日韩mv国产网站app| 日韩一区精品视频| 欧美日韩一区二区三区不卡| 亚洲激情av在线| 91老师国产黑色丝袜在线| 国产精品三级av在线播放| 狠狠色丁香久久婷婷综| 精品日韩99亚洲| 极品美女销魂一区二区三区免费| 51午夜精品国产| 青青青伊人色综合久久| 欧美一区午夜视频在线观看| 日本人妖一区二区| 日韩美女视频一区二区在线观看| 秋霞影院一区二区| 欧美mv日韩mv亚洲| 国产成人av一区二区三区在线| 国产亚洲欧美激情| 成人午夜伦理影院| 亚洲天堂网中文字| 在线观看亚洲一区| 免费美女久久99| 久久蜜桃av一区二区天堂| 国产一区二区主播在线| 国产日韩欧美亚洲| 色屁屁一区二区| 香蕉影视欧美成人| 欧美成人一区二区三区在线观看 | 日韩精品亚洲一区| 欧美va在线播放| 风流少妇一区二区| 亚洲青青青在线视频| 在线成人av网站| 国产美女娇喘av呻吟久久| 成人欧美一区二区三区黑人麻豆| 色狠狠桃花综合| 蜜臀av一区二区| 中文字幕一区二区在线观看| 欧美天堂一区二区三区| 美女视频黄久久| 国产精品国产三级国产普通话蜜臀 | 麻豆国产精品官网| 久久久久国产精品人| 欧洲一区二区三区在线| 久久99精品国产91久久来源| 国产精品高清亚洲| 777xxx欧美| 成人高清视频在线| 日本欧美加勒比视频| ...av二区三区久久精品| 欧美精三区欧美精三区| 懂色av噜噜一区二区三区av| 天涯成人国产亚洲精品一区av| 久久久久国色av免费看影院| 欧美三区在线视频| 国产91精品一区二区麻豆网站| 亚洲.国产.中文慕字在线| 日本一区二区三级电影在线观看 | 欧美videos中文字幕| 色婷婷av一区| 成人少妇影院yyyy| 日本亚洲视频在线| 樱花草国产18久久久久| 亚洲国产精品99久久久久久久久| 精品裸体舞一区二区三区| 欧美手机在线视频|