S-LoRA：一個(gè)GPU運(yùn)行數(shù)千大模型成為可能

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：S-LoRA：一個(gè)GPU運(yùn)行數(shù)千大模型成為可能

關(guān)鍵字：適配器,權(quán)重,張量,模型,內(nèi)存

文章來源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：5947字

內(nèi)容摘要：機(jī)器之心報(bào)道編輯：蛋醬一般來說，大語言模型的部署都會(huì)采用「預(yù)訓(xùn)練 — 然后微調(diào)」的模式。但是，當(dāng)針對(duì)眾多任務(wù)（如個(gè)性化助手）對(duì) base 模型進(jìn)行微調(diào)時(shí)，訓(xùn)練和服務(wù)成本會(huì)變得非常高昂。低秩適配（LowRank Adaptation，LoRA）是一種參數(shù)效率高的微調(diào)方法，通常用于將 base 模型適配到多種任務(wù)中，從而產(chǎn)生了大量從一個(gè) base 模型衍生出來的 LoRA 適配程序。這種模式為服務(wù)過程…

原文鏈接：點(diǎn)此閱讀原文：S-LoRA：一個(gè)GPU運(yùn)行數(shù)千大模型成為可能

聯(lián)系作者

文章來源：機(jī)器之心

作者微信：almosthuman2014

作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)