8B模型奧數(shù)成績(jī)比肩GPT-4！上海AI Lab出品

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：8B模型奧數(shù)成績(jī)比肩GPT-4！上海AI Lab出品
關(guān)鍵字：節(jié)點(diǎn),模型,成績(jī),答案,樣本
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

克雷西 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI只要1/200的參數(shù)，就能讓大模型擁有和GPT-4一樣的數(shù)學(xué)能力？
來(lái)自復(fù)旦和上海AI實(shí)驗(yàn)室的研究團(tuán)隊(duì)，剛剛研發(fā)出了具有超強(qiáng)數(shù)學(xué)能力的模型。
它以Llama 3為基礎(chǔ)，參數(shù)量只有8B，卻在奧賽級(jí)別的題目上取得了比肩GPT-4的準(zhǔn)確率。
這款模型名為MCTSr，是將AlphaGo中用到的蒙特卡洛算法與Llama3結(jié)合而成。
它能用少量的數(shù)據(jù)實(shí)現(xiàn)和GPT-4等的相同效果，讓網(wǎng)友感嘆Q*成真了，小模型在數(shù)學(xué)上也能做的和GPT-4等著名模型一樣好。
就此又有網(wǎng)友表示，MCTSr能用極少的參數(shù)實(shí)現(xiàn)相同的效果，加上有時(shí)候訓(xùn)練收益隨規(guī)模遞減，表明架構(gòu)才是當(dāng)前AI的瓶頸，而不是運(yùn)算。
這樣的趨勢(shì)也讓人想起了AI算主英偉達(dá)，開(kāi)始思考規(guī)模化是不是不那么重要了，會(huì)不會(huì)利空老黃呢？
所以，MCTSr具體運(yùn)用了什么樣的方法呢？
將蒙特卡洛引入大模型MCTSr名字里是MCT，指的就是蒙特卡洛樹(shù)（Monte Carlo Tree），而Sr則指的是自我完善（Self-Refine）。
蒙特卡洛樹(shù)又稱隨機(jī)抽樣或統(tǒng)計(jì)試驗(yàn)方法，是指一種使用重復(fù)隨機(jī)采樣生成合成模擬數(shù)據(jù)

原文鏈接：8B模型奧數(shù)成績(jī)比肩GPT-4！上海AI Lab出品

聯(lián)系作者

文章來(lái)源：量子位
作者微信：QbitAI
作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破