Meta開發(fā)System 2蒸餾技術，Llama 2對話模型任務準確率接近100%

AIGC動態(tài)歡迎閱讀

原標題：Meta開發(fā)System 2蒸餾技術，Llama 2對話模型任務準確率接近100%
關鍵字：報告,模型,任務,方法,研究者
文章來源：機器之心
內容字數(shù)：0字

內容摘要：

機器之心報道
編輯：杜偉研究者表示，如果 Sytem 2 蒸餾可以成為未來持續(xù)學習 AI 系統(tǒng)的重要特征，則可以進一步提升 System 2 表現(xiàn)不那么好的推理任務的性能。談到大語言模型（LLM）的策略，一般來說有兩種，一種是即時的 System 1（快速反應），另一種是 System 2（慢速思考）。
其中 System 2 推理傾向于深思熟慮的思維，生成中間思維允許模型（或人類）進行推理和規(guī)劃，以便成功完成任務或響應指令。在 System 2 推理中，需要付出努力的心理活動，尤其是在 System 1（更自動化思維）可能出錯的情況下。
因此，System 1 被定義為 Transformer 的應用，可以根據(jù)輸入直接生成響應，而無需生成中間 token。Sytem 2 被定義為生成中間 token 的任何方法，包括執(zhí)行搜索或多次提示然后最終生成響應的方法。
業(yè)界已經(jīng)提出了一系列相關的 System 2 技術，包括思維鏈、思維樹、思維圖、分支解決合并、System 2 Attention、Rephrase and Respond (RaR) 等。得益于這種明確的推理，許多方法都顯示出

原文鏈接：Meta開發(fā)System 2蒸餾技術，Llama 2對話模型任務準確率接近100%

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺