DeepSeek 發(fā)布全新開(kāi)源大模型，數(shù)學(xué)推理能力超越 LLaMA-2

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：DeepSeek 發(fā)布全新開(kāi)源大模型，數(shù)學(xué)推理能力超越 LLaMA-2
關(guān)鍵字：模型,數(shù)據(jù),縮放,性能,任務(wù)
文章來(lái)源：夕小瑤科技說(shuō)
內(nèi)容字?jǐn)?shù)：10726字

內(nèi)容摘要：

夕小瑤科技說(shuō) 原創(chuàng)作者 | 智商掉了一地、Python自從 LLaMA 被提出以來(lái)，開(kāi)源大型語(yǔ)言模型（LLM）的快速發(fā)展就引起了廣泛研究關(guān)注，隨后的一些研究就主要集中于訓(xùn)練固定大小和高質(zhì)量的模型，但這往往忽略了對(duì) LLM 縮放規(guī)律的深入探索。
開(kāi)源 LLM 的縮放研究可以促使 LLM 提高性能和拓展應(yīng)用領(lǐng)域，對(duì)于推進(jìn)自然語(yǔ)言處理和人工智能領(lǐng)域具有重要作用。在縮放規(guī)律的指導(dǎo)下，為了解決目前 LLM 縮放領(lǐng)域中存在的不明確性，由 DeepSeek 的 AI 團(tuán)隊(duì)發(fā)布了全新開(kāi)源模型 LLMDeepSeek LLM。此外，作者還在這個(gè)基礎(chǔ)模型上進(jìn)行了監(jiān)督微調(diào)（SFT）和直接偏好優(yōu)化（DPO），從而創(chuàng)建了 DeepSeek Chat 模型。
在性能方面，DeepSeek LLM 67B 在代碼、數(shù)學(xué)和推理任務(wù)中均超越了 LLaMA-2 70B，而 DeepSeek LLM 67B Chat 在開(kāi)放性評(píng)估中更是超越了 GPT-3.5。這一系列的表現(xiàn)為開(kāi)源 LLM 的未來(lái)發(fā)展奠定了一定基礎(chǔ)。
論文題目: DeepSeek LLM: Scaling Open-Source Language Model

原文鏈接：DeepSeek 發(fā)布全新開(kāi)源大模型，數(shù)學(xué)推理能力超越 LLaMA-2

聯(lián)系作者

文章來(lái)源：夕小瑤科技說(shuō)
作者微信：xixiaoyaoQAQ
作者簡(jiǎn)介：更快的AI前沿，更深的行業(yè)洞見(jiàn)。聚集25萬(wàn)AI應(yīng)用開(kāi)發(fā)者、算法工程師和研究人員。一線(xiàn)作者均來(lái)自清北、國(guó)外頂級(jí)AI實(shí)驗(yàn)室和互聯(lián)網(wǎng)大廠，兼?zhèn)涿襟wsense與技術(shù)深度。