三行代碼無損加速40%，尤洋團(tuán)隊(duì)AI訓(xùn)練加速器入選ICLR Oral論文

AIGC動態(tài)歡迎閱讀

原標(biāo)題：三行代碼無損加速40%，尤洋團(tuán)隊(duì)AI訓(xùn)練加速器入選ICLR Oral論文
關(guān)鍵字：樣本,梯度,方式,損失,輪次
文章來源：量子位
內(nèi)容字?jǐn)?shù)：3696字

內(nèi)容摘要：

克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAI用剪枝的方式加速AI訓(xùn)練，也能實(shí)現(xiàn)無損操作了，只要三行代碼就能完成！
今年的深度學(xué)習(xí)頂會ICLR上，新加坡國立大學(xué)尤洋教授團(tuán)隊(duì)的一項(xiàng)成果被收錄為Oral論文。
利用這項(xiàng)技術(shù)，可以在沒有損失的前提下，節(jié)約最高40%的訓(xùn)練成本。
這項(xiàng)成果叫做InfoBatch，采用的依然是修剪樣本的加速方式。
但通過動態(tài)調(diào)整剪枝的內(nèi)容，InfoBatch解決了加速帶來的訓(xùn)練損失問題。
而且即插即用，不受架構(gòu)限制，CNN網(wǎng)絡(luò)和Transformer模型都能優(yōu)化。
目前，該算法已經(jīng)受到了多家云計(jì)算公司的關(guān)注。
那么，InfoBatch能實(shí)現(xiàn)怎樣的加速效果呢？
無損降低40%訓(xùn)練成本研究團(tuán)隊(duì)在多個(gè)數(shù)據(jù)集上開展的實(shí)驗(yàn)。都驗(yàn)證了InfoBatch的有效性。
這些實(shí)驗(yàn)涵蓋的任務(wù)包括圖像的分類、分割和生成，以及語言模型的指令微調(diào)等。
在圖像分類任務(wù)上，研究團(tuán)隊(duì)使用CIFAR10和CIFAR100數(shù)據(jù)集訓(xùn)練了ResNet-18。
結(jié)果在30%、50%和70%的剪枝率下，InfoBatch的準(zhǔn)確率都超越了隨機(jī)剪枝和其他baseline方法，而且在30%的剪枝率下沒有任何精

原文鏈接：三行代碼無損加速40%，尤洋團(tuán)隊(duì)AI訓(xùn)練加速器入選ICLR Oral論文

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破