LLaMA 3：大模型之戰(zhàn)的新序幕

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：LLaMA 3：大模型之戰(zhàn)的新序幕
關(guān)鍵字：模型,數(shù)據(jù),報(bào)告,文本,視頻
文章來(lái)源：人工智能學(xué)家
內(nèi)容字?jǐn)?shù)：13602字

內(nèi)容摘要：

作者 | 符堯
OneFlow編譯
翻譯｜楊婷、宛子琳、張雪聃
本文要點(diǎn)概覽：
文本數(shù)據(jù)的擴(kuò)展可能已經(jīng)達(dá)到了極限，因?yàn)橐子讷@取的網(wǎng)絡(luò)文本資源（如Common Crawl、GitHub、ArXiv等）已基本被充分利用。
盡管如此，通過(guò)更深入地挖掘互聯(lián)網(wǎng)資源、搜尋圖書(shū)館藏書(shū)及使用合成數(shù)據(jù)，我們?nèi)杂型@得新的文本數(shù)據(jù)，但要實(shí)現(xiàn)數(shù)據(jù)量級(jí)的大幅提升卻面臨重重挑戰(zhàn)——這些新增的數(shù)據(jù)更可能是當(dāng)前數(shù)量級(jí)上的增量。
規(guī)模擴(kuò)展競(jìng)賽的新階段將轉(zhuǎn)向多模態(tài)領(lǐng)域，尤其是統(tǒng)一的視頻-語(yǔ)言生成模型，因?yàn)閮H有視頻數(shù)據(jù)可以實(shí)現(xiàn)數(shù)量級(jí)的增長(zhǎng)。
然而，壞消息是，視頻數(shù)據(jù)似乎并不能顯著提升模型的推理（reasoning）能力，而這一能力是區(qū)分模型強(qiáng)弱的首要指標(biāo)。
但好消息是，視頻數(shù)據(jù)能夠帶來(lái)其他性能的顯著提升，尤其是增強(qiáng)了模型與現(xiàn)實(shí)世界的聯(lián)系，展現(xiàn)出成為神經(jīng)世界模型（neural world model）的巨大潛力（與Zelda等硬編碼物理引擎不同），這提供了從模擬物理反饋中學(xué)習(xí)的可能性。
從X（X表示人類(lèi)、人工智能和環(huán)境反饋）反饋中擴(kuò)展強(qiáng)化學(xué)習(xí)可能是持續(xù)提升模型推理能力最有前景的路徑。
類(lèi)似于AlphaGo Zero在圍棋領(lǐng)

原文鏈接：LLaMA 3：大模型之戰(zhàn)的新序幕

聯(lián)系作者

文章來(lái)源：人工智能學(xué)家
作者微信：AItists
作者簡(jiǎn)介：致力成為權(quán)威的人工智能科技媒體和前沿科技研究機(jī)構(gòu)