公理訓練讓LLM學會因果推理：6700萬參數模型比肩萬億參數級GPT-4

AIGC動態歡迎閱讀

原標題：公理訓練讓LLM學會因果推理：6700萬參數模型比肩萬億參數級GPT-4
關鍵字：公理,因果,模型,位置,數據
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：Panda把因果鏈展示給 LLM，它就能學會公理。AI 已經在幫助數學家和科學家做研究了，比如著名數學家陶哲軒就曾多次分享自己借助 GPT 等 AI 工具研究探索的經歷。AI 要在這些領域大戰拳腳，強大可靠的因果推理能力是必不可少的。
本文要介紹的這項研究發現：在小圖譜的因果傳遞性公理演示上訓練的 Transformer 模型可以泛化用于大圖譜的傳遞性公理。
也就是說，如果讓 Transformer 學會執行簡單的因果推理，就可能將其用于更為復雜的因果推理。該團隊提出的公理訓練框架是一種基于被動數據來學習因果推理的新范式，只有演示足夠就能用于學習任意公理。
引言
因果推理（causal reasoning）可以定義成一組推理流程并且這組推理流程要符合專門針對因果性的預定義公理或規則。舉個例子，d-separation（有向分離）和 do-calculus 規則可被視為公理，而 collider set 或 backdoor set 的規范則可被看作是由公理推導出的規則。
通常來說，因果推理使用的數據對應于一個系統中的變量。通過正則化、模型架構或特定的變量選擇，可以歸

原文鏈接：公理訓練讓LLM學會因果推理：6700萬參數模型比肩萬億參數級GPT-4

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺