MIT對大模型數(shù)理原理的強有力證明

AIGC動態(tài)歡迎閱讀

原標(biāo)題：MIT對大模型數(shù)理原理的強有力證明
關(guān)鍵字：報告,知識產(chǎn)權(quán),人工智能,模型,政策
文章來源：人工智能學(xué)家
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

來源：清熙
筆者去年整理的大模型數(shù)理原理，迎來了最強有力的實踐證明！
原理回顧
筆者在“GPT4技術(shù)原理”系列文章梳理出來大模型數(shù)理認知框架如下圖：海量的文本或者多模態(tài)語料組成了大模型需要認知的外部世界的基本信息；嵌入構(gòu)建高維概率化的語言空間，用來建模語言文字圖像以及音視頻，并對連續(xù)變量做離散化；
預(yù)訓(xùn)練以重整化群流的方式進行，在不同尺度上提煉語料數(shù)據(jù)中的信息概率分布；重整化群流的每一步流動（自回歸預(yù)測逼近訓(xùn)練語料概率分布），都沿著最優(yōu)輸運的成本最低方向進行；
重整化群在不動點附近因新語料帶來微擾而發(fā)生對稱性破缺，滑入不同的相空間；不同的相空間，對應(yīng)某種意義上的范疇，可形象化為信息的結(jié)晶；這是大模型從語料中學(xué)到的內(nèi)部世界模型；
在外部感官輸入下（被提示置于某種上下文），大模型內(nèi)部將限定在相應(yīng)的高維語言概率空間的子空間內(nèi)推理；推理是在子空間中采樣，類比時跨范疇采樣；
采樣不斷進行，基于內(nèi)部概率化了的世界模型（預(yù)訓(xùn)練獲得的先驗），針對感官輸入（提示），做變分推斷，最小化能，獲取最佳采樣分布q*，作為對導(dǎo)致感官輸入的外部后驗的預(yù)測。
可總結(jié)為：1、重整化從海量語料中提取出范疇，2、持續(xù)重

原文鏈接：MIT對大模型數(shù)理原理的強有力證明