LLaMA-2-7B數(shù)學(xué)能力上限已達(dá)97.7%？Xwin-Math利用合成數(shù)據(jù)解鎖潛力

AIGC動態(tài)歡迎閱讀

原標(biāo)題：LLaMA-2-7B數(shù)學(xué)能力上限已達(dá)97.7%？Xwin-Math利用合成數(shù)據(jù)解鎖潛力
關(guān)鍵字：模型,數(shù)學(xué),數(shù)據(jù),問題,能力
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：4107字

內(nèi)容摘要：

機(jī)器之心專欄
機(jī)器之心編輯部合成數(shù)據(jù)持續(xù)解鎖大模型的數(shù)學(xué)推理潛力！數(shù)學(xué)問題解決能力一直被視為衡量語言模型智能水平的重要指標(biāo)。通常只有規(guī)模極大的模型或經(jīng)過大量數(shù)學(xué)相關(guān)預(yù)訓(xùn)練的模型才能有機(jī)會在數(shù)學(xué)問題上表現(xiàn)出色。
近日，一項(xiàng)由 Swin-Transformer 團(tuán)隊(duì)打造，來自西安交通大學(xué)、中國科學(xué)技術(shù)大學(xué)、清華大學(xué)和微軟亞洲研究院的學(xué)者共同完成的研究工作 Xwin 顛覆了這一認(rèn)知，揭示了通用預(yù)訓(xùn)練下 7B（即 70 億參數(shù)）規(guī)模的語言模型（LLaMA-2-7B）在數(shù)學(xué)問題解決方面已經(jīng)展現(xiàn)出較強(qiáng)的潛力，并可使用基于合成數(shù)據(jù)的有監(jiān)督微調(diào)方法促使模型愈發(fā)穩(wěn)定地將數(shù)學(xué)能力激發(fā)出來。
這項(xiàng)研究發(fā)布在 arXiv 上，題為《Common 7B Language Models Already Possess Strong Math Capabilities》。論文鏈接：https://arxiv.org/pdf/2403.04706.pdf
代碼鏈接：https://github.com/Xwin-LM/Xwin-LM
研究團(tuán)隊(duì)首先僅使用 7.5K 數(shù)據(jù)，對 LLaMA-2-7B 模型指令微調(diào)，進(jìn)而測評

原文鏈接：LLaMA-2-7B數(shù)學(xué)能力上限已達(dá)97.7%？Xwin-Math利用合成數(shù)據(jù)解鎖潛力

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺