最強(qiáng)開(kāi)源大模型Llama 3來(lái)了!4000億參數(shù)GPT-4,訓(xùn)練數(shù)據(jù)達(dá)Llama 2七倍

AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:最強(qiáng)開(kāi)源大模型Llama 3來(lái)了!4000億參數(shù)GPT-4,訓(xùn)練數(shù)據(jù)達(dá)Llama 2七倍
關(guān)鍵字:模型,數(shù)據(jù),性能,參數(shù),效率
文章來(lái)源:智東西
內(nèi)容字?jǐn)?shù):8329字
內(nèi)容摘要:
開(kāi)源大模型超閉源?Meta重回開(kāi)源大模型鐵王座。
編譯|長(zhǎng)頸鹿
編輯|李水青
智東西4月19日消息,昨夜,Meta推出迄今為止能力最強(qiáng)的開(kāi)源大模型Llama 3系列,發(fā)布8B和70B兩個(gè)版本。
Llama 3在一眾榜單中取得開(kāi)源SOTA(當(dāng)前最優(yōu)效果)。Llama 3 8B在MMLU、GPQA、HumanEval、GSM-8K等多項(xiàng)基準(zhǔn)上超過(guò)谷歌Gemma 7B和Mistral 7B Instruct。
▲Llama 3與Gemma、Mistral、Gemini、Claude 3的模型性能對(duì)比表
Llama 3 70B也在MMLU、HumanEval、GSM-8K等基準(zhǔn)上超越了閉源的谷歌Gemini Pro 1.5、Claude 3 Sonnet。
Llama 3系列最大模型規(guī)模將超過(guò)4000億參數(shù),英偉達(dá)科學(xué)家Jim Fan認(rèn)為,這一版本未來(lái)的推出將意味開(kāi)源社區(qū)的一個(gè)分水嶺,開(kāi)源模型將一舉翻越GPT-4這一高峰。
▲Jim Fan對(duì)Llama 3表示贊嘆
Llama 3模型基于超過(guò)15T個(gè)token的公開(kāi)數(shù)據(jù)預(yù)訓(xùn)練,其中數(shù)據(jù)量是Llama 2的七倍,代碼量也增至四倍。此外,Llama
原文鏈接:最強(qiáng)開(kāi)源大模型Llama 3來(lái)了!4000億參數(shù)GPT-4,訓(xùn)練數(shù)據(jù)達(dá)Llama 2七倍
聯(lián)系作者
文章來(lái)源:智東西
作者微信:zhidxcom
作者簡(jiǎn)介:智能產(chǎn)業(yè)新媒體!智東西專注報(bào)道人工智能主導(dǎo)的前沿技術(shù)發(fā)展,和技術(shù)應(yīng)用帶來(lái)的千行百業(yè)產(chǎn)業(yè)升級(jí)。聚焦智能變革,服務(wù)產(chǎn)業(yè)升級(jí)。

粵公網(wǎng)安備 44011502001135號(hào)