AIGC動態(tài)歡迎閱讀

原標(biāo)題：從零訓(xùn)練一個多模態(tài)LLM：預(yù)訓(xùn)練+指令微調(diào)+對齊+融合多模態(tài)+鏈接外部系統(tǒng)
關(guān)鍵字：模型,數(shù)據(jù),指令,任務(wù),文本
文章來源：智猩猩AGI
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

7月25日上午10點(diǎn)，中國科學(xué)技術(shù)大學(xué)與微軟亞洲研究院聯(lián)合培養(yǎng)博士生張博文將在智猩猩直播講解微軟亞洲研究院開源成果GaussianCube，主題為《結(jié)構(gòu)化3DGS為高質(zhì)量3D生成帶來新思路》。歡迎掃名~本文嘗試梳理一個完整的多模態(tài)LLM的訓(xùn)練流程。包括模型結(jié)構(gòu)選擇、數(shù)據(jù)預(yù)處理、模型預(yù)訓(xùn)練、指令微調(diào)、對齊、融合多模態(tài)以及鏈接外部系統(tǒng)等環(huán)節(jié)。
01準(zhǔn)備階段1 模型結(jié)構(gòu)
目前主要有三種模型架構(gòu)，基于Transformer解碼器，基于General Language Model，以及混合專家模型。這一步可以直接選擇開源的的基座模型，例如基于Transformer解碼器架構(gòu)的LLaMA模型族，模型結(jié)構(gòu)及一些重要參數(shù)如下圖。假設(shè)選擇LLaMA-65B，Tokenizer選擇LLaMA的基于BPE算法構(gòu)造的tokenizer。如果想要擴(kuò)展詞表，可以在目標(biāo)語言上訓(xùn)練好詞表后和LLaMA的詞表merge在一起。
02預(yù)訓(xùn)練數(shù)據(jù)1 數(shù)據(jù)源
根據(jù)Chinchilla 的scaling law，要達(dá)到最優(yōu)的計(jì)算利用率，65B模型對應(yīng)的訓(xùn)練token數(shù)量應(yīng)該達(dá)到1.4T。當(dāng)前用于訓(xùn)練LLM的數(shù)據(jù)來源很多，但

原文鏈接：從零訓(xùn)練一個多模態(tài)LLM：預(yù)訓(xùn)練+指令微調(diào)+對齊+融合多模態(tài)+鏈接外部系統(tǒng)

聯(lián)系作者

文章來源：智猩猩AGI
作者微信：
作者簡介：