挑戰Scaling Law，Meta發布移動端350M小模型MobileLLM，性能比肩7B LLaMA-v2

AIGC動態歡迎閱讀

原標題：挑戰Scaling Law，Meta發布移動端350M小模型MobileLLM，性能比肩7B LLaMA-v2
關鍵字：模型,參數,架構,性能,論文
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：喬楊
【新智元導讀】Scaling Law還沒走到盡頭，「小模型」逐漸成為科技巨頭們的追趕趨勢。Meta最近發布的MobileLLM系列，規模甚至降低到了1B以下，兩個版本分別只有125M和350M參數，但卻實現了比更大規模模型更優的性能。從5月和6月幾家科技巨頭的發布會中，我們已經能隱隱感受到AI的一個重要發展趨勢：從云數據中心走向個人用戶，從大型服務器走向筆記本和移動設備。
遵循Scaling Law已經不再是唯一的路徑，模型「以小搏大」的故事不斷上演。
先有微軟更新Phi系列小模型，一個樹莓派即可運行RAG；后有谷歌用27B參數Gemma 2力壓70B的Llama 3。
硬件方面，我們看到了AI功能逐漸與電子產品進行深度集成。
比如微軟臭名昭著的Recall功能，正是他們AI+PC戰略的重要組成部分；蘋果也在Apple Intelligence的大旗下推出用于3B小模型，力求與iOS無縫銜接。
如今LLM的參數量動輒上百億，蘋果3B的參數量已經顯得十分迷你，但對手機這種移動設備來說依舊有很高門檻。
不僅用2-bit和4-bit混合精度壓縮模型（平均每個權重3.5

原文鏈接：挑戰Scaling Law，Meta發布移動端350M小模型MobileLLM，性能比肩7B LLaMA-v2

聯系作者

文章來源：新智元
作者微信：
作者簡介：