8B尺寸達(dá)到GPT-4級(jí)性能！北大等提出醫(yī)療專家模型訓(xùn)練方法

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：8B尺寸達(dá)到GPT-4級(jí)性能！北大等提出醫(yī)療專家模型訓(xùn)練方法
關(guān)鍵字：模型,任務(wù),醫(yī)療,指令,數(shù)據(jù)
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：LRST
【新智元導(dǎo)讀】本文研究發(fā)現(xiàn)大語(yǔ)言模型在持續(xù)預(yù)訓(xùn)練過(guò)程現(xiàn)目標(biāo)領(lǐng)域性能先下降再上升的現(xiàn)象。本文引入「穩(wěn)定性差距」概念來(lái)解釋該現(xiàn)象，并提出了三種策略來(lái)緩解問(wèn)題。首先，本文提出在適當(dāng)大小的數(shù)據(jù)子集上進(jìn)行多輪預(yù)訓(xùn)練，能比單數(shù)據(jù)集預(yù)訓(xùn)練更快的性能恢復(fù)。其次，應(yīng)選取最高質(zhì)量的子語(yǔ)料進(jìn)行多輪預(yù)訓(xùn)練。最后，通過(guò)混合數(shù)據(jù)來(lái)接近預(yù)訓(xùn)練數(shù)據(jù)分布。這些策略在醫(yī)療領(lǐng)域的持續(xù)預(yù)訓(xùn)練和指令精調(diào)中均顯著提升效果和削減計(jì)算量。相關(guān)Llama-3-Physician-8B模型現(xiàn)已開(kāi)源于HuggingFace。大規(guī)模語(yǔ)言模型（LLMs）的持續(xù)預(yù)訓(xùn)練是提升其在特定領(lǐng)域性能的重要方法。通過(guò)在新領(lǐng)域的語(yǔ)料庫(kù)上預(yù)訓(xùn)練大語(yǔ)言模型，這一過(guò)程能夠顯著增加模型的領(lǐng)域知識(shí)儲(chǔ)備和任務(wù)能力。
然而，盡管已有許多研究探討了從頭預(yù)訓(xùn)練的LLMs的學(xué)習(xí)機(jī)制和性質(zhì)，關(guān)于持續(xù)預(yù)訓(xùn)練過(guò)程中LLMs行為的研究卻相對(duì)較少。
最近北京大學(xué)、香港科技大學(xué)等開(kāi)源了一個(gè)8B醫(yī)學(xué)大模型，通過(guò)測(cè)試模型在連續(xù)預(yù)訓(xùn)練和指令微調(diào)實(shí)驗(yàn)過(guò)程中的表現(xiàn)變化，發(fā)現(xiàn)了許多有趣的現(xiàn)象。論文鏈接：https://arxiv.org/abs/2406.14833

原文鏈接：8B尺寸達(dá)到GPT-4級(jí)性能！北大等提出醫(yī)療專家模型訓(xùn)練方法

聯(lián)系作者

文章來(lái)源：新智元
作者微信：AI_era
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。