LLaMA微調(diào)顯存需求減半，清華提出4比特優(yōu)化器

AIGC動態(tài)歡迎閱讀

原標(biāo)題：LLaMA微調(diào)顯存需求減半，清華提出4比特優(yōu)化器

關(guān)鍵字：張量,狀態(tài),顯存,精度,模型

文章來源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：8553字

內(nèi)容摘要：機(jī)器之心專欄作者：李炳睿大模型的訓(xùn)練和微調(diào)對顯存要求很高，優(yōu)化器狀態(tài)是顯存主要開銷之一。近日，清華大學(xué)朱軍、陳鍵飛團(tuán)隊提出了用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的 4 比特優(yōu)化器，節(jié)省了模型訓(xùn)練的內(nèi)存開銷，同時能達(dá)到與全精度優(yōu)化器相當(dāng)?shù)臏?zhǔn)確率。4 比特優(yōu)化器在眾多預(yù)訓(xùn)練和微調(diào)任務(wù)上進(jìn)行了實(shí)驗(yàn)，在保持準(zhǔn)確率無損的情況下可將微調(diào) LLaMA-7B 的顯存開銷降低多達(dá) 57%。論文：https://arxiv.org/ab…

原文鏈接：點(diǎn)此閱讀原文：LLaMA微調(diào)顯存需求減半，清華提出4比特優(yōu)化器

聯(lián)系作者

文章來源：機(jī)器之心

作者微信：almosthuman2014

作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺