AIGC動態(tài)歡迎閱讀

原標(biāo)題：從BLIP-2到Qwen2-VL，多模態(tài)大模型的技術(shù)點總結(jié)
關(guān)鍵字：模型,視覺,數(shù)據(jù),指令,侵權(quán)
文章來源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

開講預(yù)約導(dǎo)讀原文來自知乎，作者為jewellery，標(biāo)題為《多模態(tài)大模型技術(shù)點總結(jié)》。作者對BLIP-2、InstructBLIP、LLaVA、LLaVA-1.5、MiniGPT-4、MiniGPT-v2、Qwen-VL、Qwen2-VL，這8款模型的模型結(jié)構(gòu)、訓(xùn)練過程、預(yù)訓(xùn)練階段及改進(jìn)點等技術(shù)點進(jìn)行了詳細(xì)總結(jié)。原文地址：https://zhuanlan.zhihu.com/p/717586003
本文只做學(xué)術(shù)/技術(shù)分享，如有侵權(quán)，聯(lián)系刪文?？偨Y(jié)01BLIP2論文地址：https://arxiv.org/pdf/2301.12597
發(fā)布時間：2023.06.15
模型結(jié)構(gòu)：
Vision Encoder：ViT-L/14
VL Adapter：Q-Former
LLM：OPT (decoder-based)，F(xiàn)lanT5（encoder-decoder-based）Overview of BLIP-2s framework
論文主要提出Q-Former（Lightweight Querying Transformer）用于連接模態(tài)之間的gap。BLIP-2整體架構(gòu)包括三個模塊：視覺編

原文鏈接：從BLIP-2到Qwen2-VL，多模態(tài)大模型的技術(shù)點總結(jié)

聯(lián)系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：