單GPU就能壓縮模型，性能不變參數(shù)少25%！微軟提出模型稀疏化新方法

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：?jiǎn)蜧PU就能壓縮模型，性能不變參數(shù)少25%！微軟提出模型稀疏化新方法
關(guān)鍵字：矩陣,模型,研究人員,區(qū)塊,正交
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：6562字

內(nèi)容摘要：

新智元報(bào)道編輯：拉燕
【新智元導(dǎo)讀】大語(yǔ)言模型之大，成本之高，讓模型的稀疏化變得至關(guān)重要。眾所周知，對(duì)于大語(yǔ)言模型來(lái)說(shuō)，規(guī)模越大，所需的算力越大，自然占用的資源也就越多。
研究人員于是乎把目光轉(zhuǎn)到了這片領(lǐng)域，即模型的稀疏化（Sparsification）。
今天要介紹的SliceGPT，則可以實(shí)現(xiàn)模型的事后稀疏。也就是說(shuō)，在一個(gè)模型訓(xùn)練完了以后再進(jìn)行稀疏化操作。
該模型由微軟研究院和蘇黎世聯(lián)邦理工學(xué)院聯(lián)合發(fā)表在了arXiv上。
目前主流的稀疏化技術(shù)面臨著挺多挑戰(zhàn)和困難。比方說(shuō)，需要額外的數(shù)據(jù)結(jié)構(gòu)，而且在當(dāng)下的硬件條件下，速度有限。
SliceGPT就能很好的解決這些問(wèn)題——它能用一個(gè)較小的矩陣來(lái)替換每個(gè)權(quán)重矩陣，從而降低網(wǎng)絡(luò)的嵌入維度。
而實(shí)際結(jié)果也是非常不錯(cuò)的，在LLAMA-2 70B、OPT 66B和Phi-2模型上，SliceGPT去除了多達(dá)25%的模型參數(shù)，還保證了模型本身99%、99%以及90%的零樣本任務(wù)的性能。
此外，SliceGPT還可以在更少的GPU上運(yùn)行，無(wú)需額外的代碼優(yōu)化。
在24GB的消費(fèi)級(jí)GPU上，SliceGPT可以將LLAMA-2 70B總的推理計(jì)算量減

原文鏈接：單GPU就能壓縮模型，性能不變參數(shù)少25%！微軟提出模型稀疏化新方法

聯(lián)系作者

文章來(lái)源：新智元
作者微信：AI_era
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。