原標題：全面超越CoT！Meta田淵棟團隊新作：連續思維鏈
文章來源：新智元
內容字數：5433字

新智元導讀

近期，Meta田淵棟團隊提出了一種新的推理范式——連續思維鏈（Coconut），相較于傳統的思維鏈（CoT），在性能和效率上均有顯著提升。這項研究的主要貢獻在于解放大語言模型（LLM）推理過程中的語言限制，從而提高其推理能力。

1. 連續思維鏈的概念

連續思維鏈的核心思想是讓AI在推理過程中不必依賴人類語言，而是直接使用模型的中間狀態進行自回歸推理。只有在最終輸出時，才將推理結果轉換為人類可理解的語言。這種方法避免了語言生成過程中的冗余，提高了推理的效率。

2. 訓練策略與優化方法

為了充分發揮Coconut的性能，研究團隊采用了多階段訓練策略，利用語言推理鏈指導模型訓練。模型在訓練初期使用傳統的思維鏈，逐步引入連續思維的元素，使得模型能夠更有效地預測推理過程中的每一步。

3. 推理效率的提升

研究表明，Coconut在多個數據集上的表現優于傳統的CoT方法，尤其在復雜推理任務中，能夠更好地避免錯誤和幻覺現象。通過在潛在思維中編碼多個可能的推理步驟，模型能夠進行類似于廣度優先搜索的推理，逐步排除不正確的選項。

4. 實驗結果與對比分析

實驗結果顯示，Coconut在數學推理和邏輯推理任務中表現出色，尤其是在ProsQA數據集上，通過增加連續思維的推理步驟，準確率和推理過程的正確性都得到了顯著提高。此外，減少了推理過程中的錯誤發生率，表明模型的規劃能力得到了增強。

總結

Meta團隊的Coconut方法為大語言模型的推理任務提供了新的思路，強調了在推理過程中去除語言限制的重要性。通過多階段訓練和連續思維的引入，Coconut展示了更高的推理效率和準確性，為未來的AI推理研究指明了方向。

聯系作者

文章來源：新智元
作者微信：
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。