小米大模型提效新框架：訓練最高提速34%，推理最高提速52%！Kaldi之父合作出品

AIGC動態(tài)歡迎閱讀

原標題：小米大模型提效新框架：訓練最高提速34%，推理最高提速52%！Kaldi之父合作出品
關鍵字：小米,模型,侵權,序列,模塊
文章來源：算法邦
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

直播預告 | 6月25日晚7點，「智猩猩機器人新青年講座」第9講正式開講，UMass Amherst在讀博士周沁泓將直播講解《在具身智能模擬器中針對動態(tài)災害進行具身決策》，歡迎掃名~文章轉載自公眾號：量子位，本文只做學術/技術分享，如有侵權，聯(lián)系刪文。
大模型推理速度提升50%以上，還能保證少樣本學習性能！
小米大模型團隊提出SUBLLM（Subsampling-Upsampling-Bypass Large Language Model），國際AI語音大牛、開源語音識別工具Kaldi之父Daniel Povey也參與指導。
與Llama等模型相比，SUBLLM在訓練和推理速度以及降低內(nèi)存方面都有了顯著提升。
在大模型訓練中，SUBLLM的速度提高了26%，每個GPU的內(nèi)存減少了10GB。在推理中，它的速度提高了37%，每個GPU的內(nèi)存減少了1GB。
訓練和推理速度分別最高可以提高至34%和52%。SUBLLM通過智能地選擇和處理數(shù)據(jù)，使得模型在訓練和推理時更加高效：子采樣模塊剔除不必要的信息，上采樣模塊恢復數(shù)據(jù)的完整性，而繞過模塊則加快了學習過程。01在一萬字中挑選最關鍵的五百字

原文鏈接：小米大模型提效新框架：訓練最高提速34%，推理最高提速52%！Kaldi之父合作出品

聯(lián)系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點關注模型與應用。