AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：大模型生成提速2倍！單GPU幾小時(shí)搞定微調(diào)，北大數(shù)院校友共同一作丨開源

關(guān)鍵字：模型,參數(shù),速度,內(nèi)存,方法

文章來源：量子位

內(nèi)容字?jǐn)?shù)：4591字

內(nèi)容摘要：蕭簫 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI只需給大模型“加點(diǎn)小零件”，推理速度立刻提升2倍！不需要額外訓(xùn)練一個(gè)模型，也不需要對(duì)計(jì)算硬件做優(yōu)化，單張A100最快幾小時(shí)就能微調(diào)完成。這項(xiàng)新研究名叫Medusa（美杜莎），來自普林斯頓、UIUC、CMU和康涅狄格大學(xué)，F(xiàn)lashAttention作者Tri Dao也在其中。目前，它已經(jīng)成功部署到伯克利70億參數(shù)的“駱馬”Vicuna中，后續(xù)還會(huì)支…

原文鏈接：點(diǎn)此閱讀原文：大模型生成提速2倍！單GPU幾小時(shí)搞定微調(diào)，北大數(shù)院校友共同一作丨開源

聯(lián)系作者

文章來源：量子位

作者微信：QbitAI

作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破