田淵棟等人新作：突破內存瓶頸，讓一塊4090預訓練7B大模型

AIGC動態歡迎閱讀

原標題：田淵棟等人新作：突破內存瓶頸，讓一塊4090預訓練7B大模型
關鍵字：報告,內存,梯度,模型,研究者
文章來源：機器之心
內容字數：5803字

內容摘要：

機器之心報道
編輯：陳萍、大盤雞只用 24G 顯存，消費級 GPU 就能搞定大模型了。
上個月，Meta FAIR 田淵棟參與的一項研究廣受好評，他們在論文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》中開始卷 10 億以下參數小模型，主打在移動設備上運行 LLM。
3 月 6 日，田淵棟又一項研究出爐，這次，他們主攻 LLM 內存效率。除了田淵棟本人，還有來自加州理工學院、德克薩斯大學奧斯汀分校以及 CMU 的研究者。
他們合作提出了 GaLore（Gradient Low-Rank Projection），這是一種允許全參數學習的訓練策略，但比 LoRA 等常見的低秩自適應方法具有更高的內存效率。
該研究首次證明了在具有 24GB 內存的消費級 GPU（例如 NVIDIA RTX 4090）上預訓練 7B 模型的可行性，無需模型并行、檢查點或卸載策略。論文地址：https://arxiv.org/abs/2403.03507
論文標題：GaLore: Mem

原文鏈接：田淵棟等人新作：突破內存瓶頸，讓一塊4090預訓練7B大模型

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺