AIGC動態歡迎閱讀
原標題:三行代碼無損加速40%,尤洋團隊AI訓練加速器入選ICLR Oral論文
關鍵字:樣本,梯度,方式,損失,輪次
文章來源:量子位
內容字數:3696字
內容摘要:
克雷西 發自 凹非寺量子位 | 公眾號 QbitAI用剪枝的方式加速AI訓練,也能實現無損操作了,只要三行代碼就能完成!
今年的深度學習頂會ICLR上,新加坡國立大學尤洋教授團隊的一項成果被收錄為Oral論文。
利用這項技術,可以在沒有損失的前提下,節約最高40%的訓練成本。
這項成果叫做InfoBatch,采用的依然是修剪樣本的加速方式。
但通過動態調整剪枝的內容,InfoBatch解決了加速帶來的訓練損失問題。
而且即插即用,不受架構限制,CNN網絡和Transformer模型都能優化。
目前,該算法已經受到了多家云計算公司的關注。
那么,InfoBatch能實現怎樣的加速效果呢?
無損降低40%訓練成本研究團隊在多個數據集上開展的實驗。都驗證了InfoBatch的有效性。
這些實驗涵蓋的任務包括圖像的分類、分割和生成,以及語言模型的指令微調等。
在圖像分類任務上,研究團隊使用CIFAR10和CIFAR100數據集訓練了ResNet-18。
結果在30%、50%和70%的剪枝率下,InfoBatch的準確率都超越了隨機剪枝和其他baseline方法,而且在30%的剪枝率下沒有任何精
原文鏈接:三行代碼無損加速40%,尤洋團隊AI訓練加速器入選ICLR Oral論文
聯系作者
文章來源:量子位
作者微信:QbitAI
作者簡介:追蹤人工智能新趨勢,關注科技行業新突破
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...