AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：最強(qiáng)開(kāi)源大模型Llama 3來(lái)了！4000億參數(shù)GPT-4，訓(xùn)練數(shù)據(jù)達(dá)Llama 2七倍
關(guān)鍵字：模型,數(shù)據(jù),性能,參數(shù),效率
文章來(lái)源：智東西
內(nèi)容字?jǐn)?shù)：8329字

內(nèi)容摘要：

開(kāi)源大模型超閉源？Meta重回開(kāi)源大模型鐵王座。
編譯|長(zhǎng)頸鹿
編輯|李水青
智東西4月19日消息，昨夜，Meta推出迄今為止能力最強(qiáng)的開(kāi)源大模型Llama 3系列，發(fā)布8B和70B兩個(gè)版本。
Llama 3在一眾榜單中取得開(kāi)源SOTA（當(dāng)前最優(yōu)效果）。Llama 3 8B在MMLU、GPQA、HumanEval、GSM-8K等多項(xiàng)基準(zhǔn)上超過(guò)谷歌Gemma 7B和Mistral 7B Instruct。
▲Llama 3與Gemma、Mistral、Gemini、Claude 3的模型性能對(duì)比表
Llama 3 70B也在MMLU、HumanEval、GSM-8K等基準(zhǔn)上超越了閉源的谷歌Gemini Pro 1.5、Claude 3 Sonnet。
Llama 3系列最大模型規(guī)模將超過(guò)4000億參數(shù)，英偉達(dá)科學(xué)家Jim Fan認(rèn)為，這一版本未來(lái)的推出將意味開(kāi)源社區(qū)的一個(gè)分水嶺，開(kāi)源模型將一舉翻越GPT-4這一高峰。
▲Jim Fan對(duì)Llama 3表示贊嘆
Llama 3模型基于超過(guò)15T個(gè)token的公開(kāi)數(shù)據(jù)預(yù)訓(xùn)練，其中數(shù)據(jù)量是Llama 2的七倍，代碼量也增至四倍。此外，Llama

原文鏈接：最強(qiáng)開(kāi)源大模型Llama 3來(lái)了！4000億參數(shù)GPT-4，訓(xùn)練數(shù)據(jù)達(dá)Llama 2七倍

聯(lián)系作者

文章來(lái)源：智東西
作者微信：zhidxcom
作者簡(jiǎn)介：智能產(chǎn)業(yè)新媒體！智東西專注報(bào)道人工智能主導(dǎo)的前沿技術(shù)發(fā)展，和技術(shù)應(yīng)用帶來(lái)的千行百業(yè)產(chǎn)業(yè)升級(jí)。聚焦智能變革，服務(wù)產(chǎn)業(yè)升級(jí)。