8B模型奧數成績比肩GPT-4！上海AI Lab出品

AIGC動態歡迎閱讀

原標題：8B模型奧數成績比肩GPT-4！上海AI Lab出品
關鍵字：節點,模型,成績,答案,樣本
文章來源：量子位
內容字數：0字

內容摘要：

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI只要1/200的參數，就能讓大模型擁有和GPT-4一樣的數學能力？
來自復旦和上海AI實驗室的研究團隊，剛剛研發出了具有超強數學能力的模型。
它以Llama 3為基礎，參數量只有8B，卻在奧賽級別的題目上取得了比肩GPT-4的準確率。
這款模型名為MCTSr，是將AlphaGo中用到的蒙特卡洛算法與Llama3結合而成。
它能用少量的數據實現和GPT-4等的相同效果，讓網友感嘆Q*成真了，小模型在數學上也能做的和GPT-4等著名模型一樣好。
就此又有網友表示，MCTSr能用極少的參數實現相同的效果，加上有時候訓練收益隨規模遞減，表明架構才是當前AI的瓶頸，而不是運算。
這樣的趨勢也讓人想起了AI算主英偉達，開始思考規模化是不是不那么重要了，會不會利空老黃呢？
所以，MCTSr具體運用了什么樣的方法呢？
將蒙特卡洛引入大模型MCTSr名字里是MCT，指的就是蒙特卡洛樹（Monte Carlo Tree），而Sr則指的是自我完善（Self-Refine）。
蒙特卡洛樹又稱隨機抽樣或統計試驗方法，是指一種使用重復隨機采樣生成合成模擬數據

原文鏈接：8B模型奧數成績比肩GPT-4！上海AI Lab出品

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破