AIGC動態(tài)歡迎閱讀

原標題：挑戰(zhàn)Scaling Law，Meta發(fā)布移動端350M小模型MobileLLM，性能比肩7B LLaMA-v2
關(guān)鍵字：模型,參數(shù),架構(gòu),性能,論文
文章來源：新智元
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

新智元報道編輯：喬楊
【新智元導讀】Scaling Law還沒走到盡頭，「小模型」逐漸成為科技巨頭們的追趕趨勢。Meta最近發(fā)布的MobileLLM系列，規(guī)模甚至降低到了1B以下，兩個版本分別只有125M和350M參數(shù)，但卻實現(xiàn)了比更大規(guī)模模型更優(yōu)的性能。從5月和6月幾家科技巨頭的發(fā)布會中，我們已經(jīng)能隱隱感受到AI的一個重要發(fā)展趨勢：從云數(shù)據(jù)中心走向個人用戶，從大型服務(wù)器走向筆記本和移動設(shè)備。
遵循Scaling Law已經(jīng)不再是唯一的路徑，模型「以小搏大」的故事不斷上演。
先有微軟更新Phi系列小模型，一個樹莓派即可運行RAG；后有谷歌用27B參數(shù)Gemma 2力壓70B的Llama 3。
硬件方面，我們看到了AI功能逐漸與電子產(chǎn)品進行深度集成。
比如微軟臭名昭著的Recall功能，正是他們AI+PC戰(zhàn)略的重要組成部分；蘋果也在Apple Intelligence的大旗下推出用于3B小模型，力求與iOS無縫銜接。
如今LLM的參數(shù)量動輒上百億，蘋果3B的參數(shù)量已經(jīng)顯得十分迷你，但對手機這種移動設(shè)備來說依舊有很高門檻。
不僅用2-bit和4-bit混合精度壓縮模型（平均每個權(quán)重3.5

原文鏈接：挑戰(zhàn)Scaling Law，Meta發(fā)布移動端350M小模型MobileLLM，性能比肩7B LLaMA-v2

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡介：