NeurIPS 2024|SparseLLM:突破性全局剪枝技術(shù),大語言模型稀疏化
AIGC動態(tài)歡迎閱讀
原標題:NeurIPS 2024|SparseLLM:突破性全局剪枝技術(shù),大語言模型稀疏化
關(guān)鍵字:模型,全局,局部,性能,問題
文章來源:機器之心
內(nèi)容字數(shù):0字
內(nèi)容摘要:
AIxiv專欄是機器之心發(fā)布學術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年,機器之心AIxiv專欄接收報道了2000多篇內(nèi)容,覆蓋全球各大高校與企業(yè)的頂級實驗室,有效促進了學術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享,歡迎投稿或者聯(lián)系報道。投稿郵箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com本篇工作已被NeurIPS(2024 Conference on Neural Information Processing Systems)會議接收,文章第一作者為美國埃默里大學的博士生白光霽,通訊作者為趙亮教授,來自埃默里大學計算機系。共同作者包括美國阿貢國家實驗室的Yijiang Li和Kibaek Kim,以及埃默里大學的博士生凌辰。該研究主要探討了大語言模型的全局剪枝方法,旨在提高預(yù)訓練語言模型的效率。該成果的發(fā)表為大模型的剪枝與優(yōu)化研究提供了新的視角,并在相關(guān)領(lǐng)域具有重要的應(yīng)用潛力。論文標題:SparseLLM: Towards Global Pruning of Pre-trained Language Models論文鏈接:https://ar
原文鏈接:NeurIPS 2024|SparseLLM:突破性全局剪枝技術(shù),大語言模型稀疏化
聯(lián)系作者
文章來源:機器之心
作者微信:
作者簡介: