AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：ICML 2024 | 梯度檢查點(diǎn)太慢？不降速、省顯存，LowMemoryBP大幅提升反向傳播顯存效率
關(guān)鍵字：顯存,函數(shù),模型,南開大學(xué),理論
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報(bào)道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文論文一作是南開大學(xué)統(tǒng)計(jì)與數(shù)據(jù)科學(xué)學(xué)院研二碩士生楊雨辰，指導(dǎo)老師為南開大學(xué)統(tǒng)計(jì)與數(shù)據(jù)科學(xué)學(xué)院的徐君副教授。徐君老師團(tuán)隊(duì)的研究重點(diǎn)是計(jì)算機(jī)視覺、生成式 AI 和高效機(jī)器學(xué)習(xí)，并在頂級(jí)會(huì)議和期刊上發(fā)表了多篇論文，谷歌學(xué)術(shù)引用超過 4700 次。
自從大型 Transformer 模型逐漸成為各個(gè)領(lǐng)域的統(tǒng)一架構(gòu)，微調(diào)就成為了將預(yù)訓(xùn)練大模型應(yīng)用到下游任務(wù)的重要手段。然而，由于模型的尺寸日益增大，微調(diào)所需要的顯存也逐漸增加，如何高效地降低微調(diào)顯存就成了一個(gè)重要的問題。此前，微調(diào) Transformer 模型時(shí)，為了節(jié)省顯存開銷，通常的做法是使用梯度檢查點(diǎn)（gradient checkpointing，也叫作激活重算），以犧牲訓(xùn)練速度為代價(jià)降低反向傳播（Backprop

原文鏈接：ICML 2024 | 梯度檢查點(diǎn)太慢？不降速、省顯存，LowMemoryBP大幅提升反向傳播顯存效率

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)