微軟&清華提出全新預(yù)訓(xùn)練范式，指令預(yù)訓(xùn)練讓8B模型實(shí)力暴漲！實(shí)力碾壓70B模型

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：微軟&清華提出全新預(yù)訓(xùn)練范式，指令預(yù)訓(xùn)練讓8B模型實(shí)力暴漲！實(shí)力碾壓70B模型
關(guān)鍵字：指令,合成器,數(shù)據(jù),模型,任務(wù)
文章來源：夕小瑤科技說
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | 謝年年
現(xiàn)在的大模型訓(xùn)練通常會(huì)包括兩個(gè)階段：
一是無監(jiān)督的預(yù)訓(xùn)練，即通過因果語言建模預(yù)測下一個(gè)token生成的概率。該方法無需標(biāo)注數(shù)據(jù)，這意味著可以利用大規(guī)模的數(shù)據(jù)學(xué)習(xí)到語言的通用特征和模式。
二是指令微調(diào)，即通過自然語言指令構(gòu)建的多樣任務(wù)對預(yù)訓(xùn)練模型進(jìn)行微調(diào)，顯著增強(qiáng)了任務(wù)泛化能力。
最近，微軟與清華提出了指令預(yù)訓(xùn)練（Instruction Pre-Training）的新方法，該方法在第一階段引入指令—響應(yīng)對的數(shù)據(jù)，采用監(jiān)督多任務(wù)學(xué)習(xí)來探索預(yù)訓(xùn)練語言模型的新途徑。
指令預(yù)訓(xùn)練使Llama3-8B模型在部分領(lǐng)域上的表現(xiàn)甚至超越了Llama3-70B模型。
論文標(biāo)題:Instruction Pre-Training: Language Models are Supervised Multitask Learners
論文鏈接：https://arxiv.org/pdf/2406.14491
github鏈接：https://github.com/microsoft/LMOps
可能有同學(xué)會(huì)擔(dān)心指令—響應(yīng)對的數(shù)據(jù)從何而來，人工構(gòu)建的話耗時(shí)耗力，如果是合成數(shù)據(jù)，其

原文鏈接：微軟&清華提出全新預(yù)訓(xùn)練范式，指令預(yù)訓(xùn)練讓8B模型實(shí)力暴漲！實(shí)力碾壓70B模型

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業(yè)、有趣、深度價(jià)值導(dǎo)向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內(nèi)外機(jī)構(gòu)投資人，互聯(lián)網(wǎng)大廠中高管和AI公司創(chuàng)始人。一線作者來自清北、國內(nèi)外頂級AI實(shí)驗(yàn)室和大廠，兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務(wù)合作：zym5189