10行代碼讓大模型數學提升20%，“野路子”研究谷歌也測上了，主要作者全靠自學成才

AIGC動態歡迎閱讀

原標題：10行代碼讓大模型數學提升20%，“野路子”研究谷歌也測上了，主要作者全靠自學成才
關鍵字：概率,模型,創意,閾值,方法
文章來源：量子位
內容字數：0字

內容摘要：

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI只要不到10行代碼，就能讓大模型數學能力（GSM8k）提升20%！
幾名學者提出了大模型采樣的改進方案，引起了開源社區的關注。
目前該方法已在Mistral-7B上取得成效，在Llama3-70B上的測試也正在進行。
這種方法叫做最小p采樣（min-p sampling），目的是平衡生成文本的連貫性和多樣性。
簡單說就是讓模型在不同場合發揮不同的特性，例如在事實問題上保持性能穩定，在寫作等場景中又能發揮創意。
目前該方法已在Mistral-7B上取得成效，在Llama-70B上的測試也即將進行。
在論文中作者提到，該方法已經獲得了開源社區的廣泛應用。
同時作者還透露，Anthropic和谷歌等閉源模型廠商也已經或正在針對min-p進行測試。
消息也得到了谷歌方面的確認，從OpenAI跳槽到谷歌的開發者社區負責人Logan Kilpatrick已經回復說“On it”（在做了）。
微軟Copilot的研究人員Abram Jackson看了后表示，這是他看到的首個有關推理過程token采樣的改進，未來還有很大進步空間。
值得一提的是，

原文鏈接：10行代碼讓大模型數學提升20%，“野路子”研究谷歌也測上了，主要作者全靠自學成才

聯系作者

文章來源：量子位
作者微信：
作者簡介：