国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

MetaMorph:智能多模態(tài)產(chǎn)品提升用戶(hù)體驗(yàn)與交互效率

AI工具9個(gè)月前發(fā)布 AI工具集
730 0 0

MetaMorph是一款先進(jìn)的多模態(tài)大模型(MLLM),通過(guò)指令微調(diào)(Instruction Tuning)實(shí)現(xiàn)視覺(jué)理解與生成。其創(chuàng)新的Visual-Predictive Instruction Tuning(VPiT)方法使得預(yù)訓(xùn)練的大型語(yǔ)言模型(LLM)能夠迅速轉(zhuǎn)變?yōu)橐粋€(gè)統(tǒng)一的自回歸模型,能夠生成文本和視覺(jué)token。MetaMorph在視覺(jué)理解和生成的基準(zhǔn)測(cè)試中表現(xiàn)出色,能夠利用從LLM預(yù)訓(xùn)練中獲得的世界知識(shí)和推理能力,克服其他生成模型常見(jiàn)的失敗模式。

MetaMorph是什么

MetaMorph是一款多模態(tài)大模型(MLLM),通過(guò)指令微調(diào)(Instruction Tuning)實(shí)現(xiàn)視覺(jué)理解與生成。它采用了一種名為Visual-Predictive Instruction Tuning(VPiT)的方法,使得預(yù)訓(xùn)練的大型語(yǔ)言模型(LLM)能夠迅速轉(zhuǎn)變?yōu)橐粋€(gè)統(tǒng)一的自回歸模型,能夠生成文本和視覺(jué)token。MetaMorph在視覺(jué)理解和生成的基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異,能夠基于從LLM預(yù)訓(xùn)練中獲得的世界知識(shí)和推理能力,克服其他生成模型常見(jiàn)的失敗模式。研究表明,LLM可能具備強(qiáng)大的“先驗(yàn)”視覺(jué)能力,這些能力可以通過(guò)相對(duì)簡(jiǎn)單的指令調(diào)整過(guò)程高效適應(yīng)于視覺(jué)理解與生成。

MetaMorph:智能多模態(tài)產(chǎn)品提升用戶(hù)體驗(yàn)與交互效率

MetaMorph的主要功能

  • 多模態(tài)理解與生成:MetaMorph通過(guò)VPiT技術(shù),使預(yù)訓(xùn)練的大型語(yǔ)言模型(LLM)能夠迅速轉(zhuǎn)變?yōu)橐粋€(gè)統(tǒng)一的自回歸模型,生成文本和視覺(jué)token,實(shí)現(xiàn)多模態(tài)理解與生成。
  • 視覺(jué)生成能力:MetaMorph在視覺(jué)生成方面能夠利用從LLM預(yù)訓(xùn)練中獲得的世界知識(shí)和推理能力,克服其他生成模型常見(jiàn)的失敗模式。
  • 隱式推理執(zhí)行:MetaMorph能夠在生成視覺(jué)token之前隱式地執(zhí)行推理步驟,例如根據(jù)提示詞生成相應(yīng)的圖像。
  • 處理專(zhuān)業(yè)術(shù)語(yǔ):與文本嵌入模型CLIP和T5相比,MetaMorph更有效地處理專(zhuān)業(yè)術(shù)語(yǔ),生成準(zhǔn)確的視覺(jué)標(biāo)記。
  • 統(tǒng)一建模方法:MetaMorph展示了統(tǒng)一建模方法,允許模型利用LLM的強(qiáng)大功能,從預(yù)訓(xùn)練的LLM中提取知識(shí)。
  • 競(jìng)爭(zhēng)力的表現(xiàn):MetaMorph在視覺(jué)理解和視覺(jué)生成基準(zhǔn)測(cè)試中都取得了競(jìng)爭(zhēng)力的表現(xiàn),優(yōu)于其他統(tǒng)一模型。

MetaMorph的技術(shù)原理

  • Visual-Predictive Instruction Tuning (VPiT):是一種簡(jiǎn)單而有效的視覺(jué)指令調(diào)優(yōu)方法,使預(yù)訓(xùn)練的大型語(yǔ)言模型(LLM)能迅速轉(zhuǎn)變?yōu)橐粋€(gè)統(tǒng)一的自回歸模型,生成文本和視覺(jué)token。
  • 多模態(tài)token預(yù)測(cè):VPiT教導(dǎo)LLM從以指令跟隨格式整理的圖像和文本數(shù)據(jù)輸入序列中預(yù)測(cè)離散的文本標(biāo)記和連續(xù)的視覺(jué)標(biāo)記。
  • 視覺(jué)生成能力與視覺(jué)理解的關(guān)聯(lián):研究發(fā)現(xiàn),視覺(jué)生成能力作為改進(jìn)的視覺(jué)理解的自然副產(chǎn)品出現(xiàn),并且可以通過(guò)少量的生成數(shù)據(jù)高效解鎖。
  • 理解和生成的不對(duì)稱(chēng)性:理解和生成視覺(jué)token的能力是相互關(guān)聯(lián)但不對(duì)稱(chēng)的。增加理解數(shù)據(jù)可以更有效地提高視覺(jué)理解和生成性能,而增加生成數(shù)據(jù)雖然可以提高生成質(zhì)量,但對(duì)視覺(jué)理解的提升效果較小。
  • 統(tǒng)一模型訓(xùn)練:基于上述發(fā)現(xiàn),MetaMorph模型使用VPiT來(lái)預(yù)測(cè)多模態(tài)token,基于各種數(shù)據(jù)源進(jìn)行訓(xùn)練,包括視覺(jué)問(wèn)答數(shù)據(jù)集和無(wú)文本注釋的純圖像和視頻數(shù)據(jù)。
  • 預(yù)訓(xùn)練LLM的知識(shí):MetaMorph能基于從LLM預(yù)訓(xùn)練中獲得的世界知識(shí)和推理能力,在視覺(jué)生成過(guò)程中克服其他生成模型常見(jiàn)的失敗模式。

MetaMorph的項(xiàng)目地址

MetaMorph的應(yīng)用場(chǎng)景

  • 視覺(jué)理解和視覺(jué)生成:通過(guò)指令調(diào)優(yōu)(VPiT)預(yù)測(cè)多模態(tài)token,利用各種數(shù)據(jù)源,包括視覺(jué)問(wèn)答數(shù)據(jù)集和無(wú)文本注釋的純圖像和視頻數(shù)據(jù)。
  • 知識(shí)提取與視覺(jué)token生成:MetaMorph能從預(yù)訓(xùn)練的大型語(yǔ)言模型(LLM)中提取知識(shí),并在生成視覺(jué)token之前隱式地執(zhí)行推理步驟。例如,輸入提示詞“斑蝶幼蟲(chóng)轉(zhuǎn)變形態(tài)后的動(dòng)物”,MetaMorph成功生成了蝴蝶的圖像。
  • 處理專(zhuān)業(yè)術(shù)語(yǔ)和語(yǔ)義難題:MetaMorph比CLIP和T5等文本嵌入模型更有效地處理專(zhuān)業(yè)術(shù)語(yǔ)和常見(jiàn)的語(yǔ)義難題,如否定和主觀性。
  • 多模態(tài)生成推理:MetaMorph能根據(jù)謎題提示生成圖像,例如“國(guó)家公園位于”。可以直接使用提示語(yǔ)而無(wú)需任何思維鏈(CoT)提示語(yǔ)“生成謎題圖片”。MetaMorph可以從需要多步推理的提示中生成正確的圖像。
  • 解決視覺(jué)謎題:MetaMorph能解決需要隱式推理的視覺(jué)謎題,例如在回答“一種樂(lè)器,這種樂(lè)器通常由提出狹義相對(duì)論的科學(xué)家演奏”的問(wèn)題時(shí),模型需要隱式地完成識(shí)別愛(ài)因斯坦、識(shí)別他的首選樂(lè)器是小提琴,直接生成正確的視覺(jué)token。
閱讀原文
? 版權(quán)聲明
蟬鏡AI數(shù)字人

相關(guān)文章

蟬鏡AI數(shù)字人

暫無(wú)評(píng)論

暫無(wú)評(píng)論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        日韩一区二区三区在线视频| 国产精品福利电影一区二区三区四区| 欧美日韩专区在线| 国产精品剧情在线亚洲| 99视频精品全部免费在线| 成人免费一区二区三区视频| 一本一道久久a久久精品| 亚洲最新视频在线观看| 777奇米四色成人影色区| 国产乱一区二区| 中文字幕av不卡| 欧美做爰猛烈大尺度电影无法无天| 五月天丁香久久| 精品国产成人在线影院| 不卡视频免费播放| 午夜伊人狠狠久久| 欧美国产1区2区| 欧美日本高清视频在线观看| 欧美aaaaaa午夜精品| 国产精品私房写真福利视频| 欧美亚洲综合一区| 成人午夜免费电影| 免费成人在线观看| 亚洲日本电影在线| 日韩视频免费观看高清完整版在线观看 | 视频一区二区三区中文字幕| 久久久久久久综合日本| 欧美久久高跟鞋激| 99riav久久精品riav| 久久国产人妖系列| 亚洲一区二区三区爽爽爽爽爽| 精品国产乱码久久久久久蜜臀| 91免费精品国自产拍在线不卡 | 国产精品理伦片| 欧美一区二区精品| 91久久久免费一区二区| 国产大陆亚洲精品国产| 日韩高清一级片| 伊人夜夜躁av伊人久久| 亚洲欧洲色图综合| 中文天堂在线一区| 久久久久国产成人精品亚洲午夜| 欧美精品一级二级| 日本电影欧美片| 97国产一区二区| 99久久精品久久久久久清纯| 国产传媒一区在线| 国产精选一区二区三区| 精品一区二区三区蜜桃| 蜜臀av国产精品久久久久| 亚洲妇女屁股眼交7| 一区二区三区电影在线播| 亚洲人成影院在线观看| 成人免费在线播放视频| 中文字幕一区二区三区色视频| 国产情人综合久久777777| 国产亚洲一区字幕| 亚洲国产精品成人久久综合一区| 久久精品无码一区二区三区| 久久久久九九视频| 国产精品国产三级国产专播品爱网| 欧美激情资源网| 中文字幕一区二区三区色视频| 亚洲欧洲成人av每日更新| 亚洲精品国产视频| 亚洲一卡二卡三卡四卡五卡| 亚洲国产精品久久一线不卡| 亚洲va国产天堂va久久en| 日日骚欧美日韩| 国内成人免费视频| 成人妖精视频yjsp地址| 99久久精品免费看| 欧美日韩精品三区| 91精品欧美综合在线观看最新| 欧美一区三区四区| 久久久精品一品道一区| 国产精品护士白丝一区av| 一级中文字幕一区二区| 日本成人超碰在线观看| 黄色资源网久久资源365| 风间由美中文字幕在线看视频国产欧美| 国产成人在线视频播放| 色视频欧美一区二区三区| 欧美日韩黄色一区二区| 精品99一区二区三区| 国产精品乱码妇女bbbb| 亚洲五月六月丁香激情| 狠狠色伊人亚洲综合成人| caoporen国产精品视频| 欧美日韩高清一区二区| 精品国产乱码久久久久久久久| 中文字幕乱码日本亚洲一区二区| 亚洲一本大道在线| 国产精品亚洲综合一区在线观看| 色婷婷av一区二区三区大白胸| 日韩美女一区二区三区| 亚洲欧美日韩一区二区 | 日韩一区二区免费在线观看| 2014亚洲片线观看视频免费| 综合在线观看色| 美女mm1313爽爽久久久蜜臀| 9色porny自拍视频一区二区| 欧美一区二区高清| 亚洲精品中文在线影院| 国内精品久久久久影院色| 欧美三级三级三级| 国产精品乱人伦中文| 黑人巨大精品欧美黑白配亚洲| 日本丶国产丶欧美色综合| 国产欧美日本一区二区三区| 无吗不卡中文字幕| 日本伦理一区二区| 中文字幕亚洲综合久久菠萝蜜| 极品尤物av久久免费看| 欧美日本韩国一区二区三区视频| 国产精品成人一区二区艾草| 国产成a人无v码亚洲福利| 91精品国产一区二区三区| 一个色综合网站| av不卡在线观看| 国产欧美一区二区精品性色 | eeuss鲁片一区二区三区在线看| 日韩精品一区二区三区在线| 午夜精品福利一区二区三区av| 91视频www| 中文字幕日韩av资源站| 黑人巨大精品欧美一区| 日韩精品一区二| 免费在线观看精品| 欧美一区二区三区人| 日韩电影在线观看网站| 欧美色视频一区| 亚洲成人免费看| 777xxx欧美| 麻豆国产精品一区二区三区| 日韩欧美另类在线| 狠狠色综合日日| 欧美国产欧美亚州国产日韩mv天天看完整| 九九**精品视频免费播放| 欧美哺乳videos| 国产一区不卡精品| 中文字幕乱码日本亚洲一区二区 | 在线精品视频免费播放| 亚洲视频一区二区免费在线观看| 99久精品国产| 午夜精品福利一区二区蜜股av | 亚洲午夜激情网站| 91精品国产麻豆| 国产精品一区在线观看你懂的| 久久久亚洲欧洲日产国码αv| 成人黄色在线视频| 一区二区在线电影| 91麻豆精品91久久久久同性| 久久激五月天综合精品| 国产欧美在线观看一区| 欧美三级韩国三级日本三斤| 麻豆一区二区三区| 欧美国产精品v| 在线观看视频一区二区| 另类人妖一区二区av| 国产精品乱码一区二区三区软件 | 一本色道久久综合亚洲aⅴ蜜桃 | 久久er99热精品一区二区| 久久亚洲免费视频| 色婷婷精品大视频在线蜜桃视频| 日韩和欧美的一区| 中文字幕 久热精品 视频在线| 在线日韩av片| 狠狠色综合播放一区二区| 亚洲丝袜另类动漫二区| 日韩欧美国产一二三区| www.成人网.com| 青青青爽久久午夜综合久久午夜| 欧美高清在线一区| 欧美一区二区三区公司| 99久久er热在这里只有精品66| 午夜免费久久看| 中文字幕亚洲在| 日韩一级大片在线观看| www.欧美亚洲| 国产乱色国产精品免费视频| 亚洲午夜三级在线| 国产精品嫩草影院av蜜臀| 777a∨成人精品桃花网| 日本乱人伦aⅴ精品| 国产不卡一区视频| 奇米四色…亚洲| 亚洲影视在线播放| 国产精品色哟哟| 欧美xxxxxxxx| 欧美狂野另类xxxxoooo| 一本色道久久加勒比精品| 国产成人超碰人人澡人人澡| 日本aⅴ精品一区二区三区 | 免费观看成人鲁鲁鲁鲁鲁视频| 亚洲九九爱视频| 中文字幕一区二区三区不卡在线| 国产丝袜欧美中文另类| 亚洲精品一区二区三区在线观看 | 久久久综合精品|