合作才能更強！互相糾錯可提升LLM的數(shù)學(xué)能力。

原標(biāo)題：微軟：兩個AI相互糾錯，數(shù)學(xué)再漲5分
文章來源：量子位
內(nèi)容字?jǐn)?shù)：5202字

提升LLM數(shù)學(xué)能力的新方法：Flow-DPO

最近，加州大學(xué)和微軟研究院提出了一種新的方法Flow-DPO，通過兩個大型語言模型（LLM）的合作，顯著提升了LLM在數(shù)學(xué)推理方面的能力。這一方法結(jié)合了在線學(xué)習(xí)流（Flow）和直接偏好優(yōu)化（DPO），旨在生成更詳細(xì)和精確的推理軌跡，解決傳統(tǒng)LLM在數(shù)學(xué)問題上表現(xiàn)不佳的難題。

1. 研究背景

傳統(tǒng)的LLM在解決數(shù)學(xué)問題時，常常面臨反饋信息有限和標(biāo)注數(shù)據(jù)質(zhì)量不高的問題。Flow-DPO通過引入兩個的LLM（Answer LLM和Stop LLM），實現(xiàn)了更高效的解題過程。

2. 方

Flow-DPO的工作流程可分為兩個部分：

（1）增量輸出生成Flow：Answer LLM逐步生成答案塊，Stop LLM則判斷每個答案塊是否達到最終狀態(tài)，兩個模型通過迭代學(xué)習(xí)不斷優(yōu)化。

（2）在線Flow學(xué)習(xí)與回滾：在生成答案的過程中，Answer LLM會隨機生成不同的答案片段，并根據(jù)Stop LLM的反饋進行調(diào)整，確保最終選擇的答案是最優(yōu)的。

3. 實驗結(jié)果

研究團隊在MetaMath數(shù)據(jù)集上進行了驗證實驗，使用了兩種不同規(guī)模的模型：Llama-3-8B-Instruct和Phi-3-medium-128k-instruct。實驗結(jié)果表明，F(xiàn)low-DPO顯著提升了模型的數(shù)學(xué)推理能力：

（1）在漸進驗證準(zhǔn)確率方面，Llama-3-8B-Instruct的性能提高了20%，而Phi-3-medium-128k-instruct的準(zhǔn)確率提升了4個百分點，達到了83%。

（2）Flow生成的推理軌跡質(zhì)量優(yōu)于基線模型，Llama-3-8B-Instruct在GSM8K和MATH數(shù)據(jù)集上的微調(diào)準(zhǔn)確率分別提高了6%和7.8%。

4. 結(jié)論

Flow-DPO的成功展示了兩個模型的合作能夠有效解決復(fù)雜數(shù)學(xué)問題，提高了LLM的邏輯分析能力和推理質(zhì)量。隨著技術(shù)的進步，未來的LLM有望在更多領(lǐng)域展現(xiàn)其潛力，解決更復(fù)雜的問題。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破