AIGC動態(tài)歡迎閱讀

原標題：Meta AI推出適用于移動設備的緊湊型語言模型
關鍵字：模型,高效,語言,參數(shù),設備
文章來源：AI范兒
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

點擊上方藍字關注我們“Meta AI 推出 MobileLLM，一種為移動設備設計的高效語言模型。該模型通過優(yōu)化參數(shù)，實現(xiàn)了與更大模型相當?shù)男阅埽苿恿?AI 模型小型化和效率化的趨勢。Meta AI 研究團隊最近推出了 MobileLLM，這是一種為移動設備和其他資源受限環(huán)境量身定制的高效語言模型。這項研究在 2024 年 6 月 27 日發(fā)布，它打破了人們對于 AI 模型必須龐大的傳統(tǒng)認知。
這個由 Meta Reality Labs、PyTorch 和 Meta AI Research (FAIR) 的成員組成的團隊，專注于開發(fā)參數(shù)不足 10 億的模型，這與 GPT-4 等擁有超過一萬億參數(shù)的龐然大物相比，簡直是小巫見大巫。
Meta 的首席人工智能科學家 Yann LeCun 在 X 平臺上分享了這項研究的幾個亮點：MobileLLM 的創(chuàng)新之處在于：
– 強調模型的深度而非廣度
– 采用嵌入共享和分組查詢注意力機制
– 引入了一種創(chuàng)新的即時塊狀權重共享技術
這些設計決策讓 MobileLLM 在標準測試任務上的性能比同等規(guī)模的舊模型提升了 2.7% 到 4.3%。雖然這些提升

原文鏈接：Meta AI推出適用于移動設備的緊湊型語言模型

聯(lián)系作者

文章來源：AI范兒
作者微信：AI_Insights
作者簡介：AI領域四大媒體之一。 智能未來，始于Prompt！