大模型生成提速2倍！單GPU幾小時搞定微調，北大數院校友共同一作丨開源

AIGC動態歡迎閱讀

原標題：大模型生成提速2倍！單GPU幾小時搞定微調，北大數院校友共同一作丨開源

關鍵字：模型,參數,速度,內存,方法

文章來源：量子位

內容字數：4591字

內容摘要：蕭簫 發自 凹非寺量子位 | 公眾號 QbitAI只需給大模型“加點小零件”，推理速度立刻提升2倍！不需要額外訓練一個模型，也不需要對計算硬件做優化，單張A100最快幾小時就能微調完成。這項新研究名叫Medusa（美杜莎），來自普林斯頓、UIUC、CMU和康涅狄格大學，FlashAttention作者Tri Dao也在其中。目前，它已經成功部署到伯克利70億參數的“駱馬”Vicuna中，后續還會支…

原文鏈接：點此閱讀原文：大模型生成提速2倍！單GPU幾小時搞定微調，北大數院校友共同一作丨開源

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破