蘋果加入開源大戰，官宣端側小模型OpenELM！參數2.7億到30億一臺M2 Mac可跑

AIGC動態歡迎閱讀

原標題：蘋果加入開源大戰，官宣端側小模型OpenELM！參數2.7億到30億一臺M2 Mac可跑
關鍵字：模型,參數,準確率,微軟,蘋果
文章來源：新智元
內容字數：2613字

內容摘要：

新智元報道編輯：桃子
【新智元導讀】開源戰在這半個月愈演愈烈。先是Llama 3，又到微軟Phi-3，再到今天蘋果發布的OpenELM。四種不同小參數版本全部上線，我們離iPhone裝進大模型不遠了。從Llama 3到Phi-3，蹭著開源熱乎勁兒，蘋果也來搞事情了。
今天，蘋果團隊發布了OpenELM，包含了2.7億、4.5億、11億和30億四個參數版本。
與微軟剛剛開源的Phi-3相同，OpenELM是一款專為終端設備而設計的小模型。
論文地址：https://arxiv.org/abs/2404.14619
論文稱，OpenELM使用了「分層縮放」策略，來有效分配Transformer模型每一層參數，從而提升準確率。
如下這張圖，一目了然。
在約10億參數規模下，OpenELM與OLMo相比，準確率提高了2.36%，同時需要的預訓練token減少了2倍。
抱抱臉創始人表示，蘋果加入了AI開源大戰，一口氣在HF中心發布了四款模型。
OpenELM有多強？OpenELM的誕生，顯然瞄準了谷歌、三星、微軟這類的競爭對手。
近幾天，微軟開源的Phi-3，在AI社區引起了不小的反響。
因為

原文鏈接：蘋果加入開源大戰，官宣端側小模型OpenELM！參數2.7億到30億一臺M2 Mac可跑

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。