基于LoRA微調多模態大模型一文解析

AIGC動態歡迎閱讀

原標題：基于LoRA微調多模態大模型一文解析
關鍵字：模型,視覺,圖像,高效,文本
文章來源：算法邦
內容字數：0字

內容摘要：

7月16日19點，「智猩猩AI新青年講座」第244講將開講。上海交通大學和寧波東方理工大合培養博士生徐良將主要講解通用的3D人體動作生成框架ActFormer和人體反應生成框架ReGenNet，主題為《多人互動中的人體動作與反應生成》。歡迎感興趣的朋友掃名~隨著，ChatGPT 迅速爆火，引發了大模型的時代變革。然而對于普通大眾來說，進行大模型的預訓練或者全量微調遙不可及。由此，催生了各種參數高效微調技術，讓科研人員或者普通開發者有機會嘗試微調大模型。
因此，該技術值得我們進行深入分析其背后的機理，之前分享了大模型參數高效微調技術原理綜述的文章。下面給大家分享大模型參數高效微調技術實戰系列文章，相關代碼均放置在GitHub：llm-action。
本文為大模型參數高效微調技術實戰的第七篇。本文將結合使用 LoRA 來訓練用于圖生文的blip2-opt-2.7b模型。
01數據集和模型準備數據集使用6名足球員的虛擬數據集，帶有可用于微調任何圖像描述模型的文字說明。數據集下載地址：
https://huggingface.co/datasets/ybelkada/footbal

原文鏈接：基于LoRA微調多模態大模型一文解析

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點關注模型與應用。