国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

大模型推理更可能是概率模式匹配?北大團(tuán)隊(duì)從蒙特卡洛語(yǔ)言樹(shù)的新視角解讀GPT,思維鏈原理也有新的理解

AIGC動(dòng)態(tài)9個(gè)月前發(fā)布 量子位
455 0 0

同時(shí)還解釋了大模型幻覺(jué)現(xiàn)象

大模型推理更可能是概率模式匹配?北大團(tuán)隊(duì)從蒙特卡洛語(yǔ)言樹(shù)的新視角解讀GPT,思維鏈原理也有新的理解

原標(biāo)題:大模型推理更可能是概率模式匹配?北大團(tuán)隊(duì)從蒙特卡洛語(yǔ)言樹(shù)的新視角解讀GPT,思維鏈原理也有新的理解
文章來(lái)源:量子位
內(nèi)容字?jǐn)?shù):3417字

GPT-Tree:理解大模型行為的新視角

北京大學(xué)課題組提出了一種新穎的視角,將語(yǔ)言數(shù)據(jù)集和GPT模型分別展開(kāi)為蒙特卡洛語(yǔ)言樹(shù)(Data-Tree和GPT-Tree),從而更深入地理解大模型的行為,包括思維鏈的有效性、token-bias現(xiàn)象以及模型幻覺(jué)。

1. Data-Tree和GPT-Tree的構(gòu)建

研究人員證明,任何語(yǔ)言數(shù)據(jù)集都可以用Data-Tree完美表示。Data-Tree以第一個(gè)token作為根節(jié)點(diǎn),通過(guò)枚舉后續(xù)token及其條件頻率構(gòu)建樹(shù)結(jié)構(gòu)。GPT-Tree則通過(guò)將GPT模型作為預(yù)測(cè)引擎,以同樣的方式構(gòu)建,記錄每個(gè)token的概率分布。兩者都通過(guò)蒙特卡洛樹(shù)的方式展開(kāi),參數(shù)化模型參數(shù)θ。

2. 大模型的本質(zhì):數(shù)據(jù)樹(shù)近似

研究發(fā)現(xiàn),不同GPT模型(如GPT-neo-X系列)在同一數(shù)據(jù)集上訓(xùn)練后,其GPT-Tree結(jié)構(gòu)具有顯著相似性,且模型越大,其GPT-Tree越接近Data-Tree。超過(guò)87%的GPT輸出token可以被Data-Tree召回。這表明,大模型訓(xùn)練的本質(zhì)是學(xué)習(xí)一種更有效地近似Data-Tree的方法,其推理過(guò)程更可能是概率模式匹配而非形式推理。

3. Token-bias和模型幻覺(jué)的解釋

研究解釋了token-bias現(xiàn)象:一些罕見(jiàn)的token會(huì)誘導(dǎo)GPT-Tree進(jìn)入錯(cuò)誤的推斷路徑,導(dǎo)致模型輸出錯(cuò)誤。通過(guò)實(shí)驗(yàn),他們發(fā)現(xiàn)擾動(dòng)最后一個(gè)token會(huì)顯著降低模型準(zhǔn)確性。模型幻覺(jué)則被解釋為數(shù)據(jù)樹(shù)中token共現(xiàn)偏差導(dǎo)致的。例如,多倫多和加拿大這兩個(gè)詞的高頻共現(xiàn),可能導(dǎo)致模型錯(cuò)誤地將多倫多認(rèn)定為加拿大首都。

4. 思維鏈的有效性解釋

在蒙特卡洛樹(shù)視角下,思維鏈的有效性在于彌補(bǔ)輸入X和輸出Y之間存在的差距。對(duì)于復(fù)雜問(wèn)題,Y可能位于GPT-Tree中較深的葉節(jié)點(diǎn),思維鏈的作用是找到連接X(jué)和Y的路徑Z,幫助模型更好地進(jìn)行預(yù)測(cè)。

5. 研究意義

這項(xiàng)研究為理解大模型行為提供了新的視角,解釋了模型的優(yōu)勢(shì)和局限性,例如思維鏈的有效性、token-bias和模型幻覺(jué)。通過(guò)將模型和數(shù)據(jù)轉(zhuǎn)化為樹(shù)形結(jié)構(gòu),研究人員能夠更直觀地分析模型的學(xué)習(xí)過(guò)程和推理機(jī)制,為未來(lái)大模型的改進(jìn)提供新的思路。

6. 結(jié)論

GPT-Tree框架為理解大語(yǔ)言模型提供了一種全新的、直觀的分析方法,有助于我們更好地理解這些模型的運(yùn)作機(jī)制,并為改進(jìn)模型性能提供理論指導(dǎo)。


聯(lián)系作者

文章來(lái)源:量子位
作者微信:
作者簡(jiǎn)介:追蹤人工智能新趨勢(shì),關(guān)注科技行業(yè)新突破

閱讀原文
? 版權(quán)聲明
蟬鏡AI數(shù)字人

相關(guān)文章

蟬鏡AI數(shù)字人

暫無(wú)評(píng)論

暫無(wú)評(píng)論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        在线免费观看日本欧美| 综合久久一区二区三区| 国产亚洲一区二区三区四区| 久久国产精品99精品国产| 欧美一区二区网站| 精品一区免费av| 国产亚洲欧美中文| 国产精品综合在线视频| 亚洲国产成人在线| 欧美丝袜自拍制服另类| 免费成人小视频| 国产精品女同互慰在线看| 在线日韩一区二区| 蜜臀av在线播放一区二区三区| 欧美成人性战久久| 国产99久久久久久免费看农村| 国产精品青草久久| 欧美日韩亚洲综合一区二区三区| 奇米一区二区三区av| 欧美国产激情一区二区三区蜜月| 欧美在线不卡视频| 国产麻豆精品在线| 首页亚洲欧美制服丝腿| 中文字幕欧美激情一区| 欧美久久久久久久久| 国产91精品精华液一区二区三区| 亚洲国产精品一区二区久久| 国产视频一区在线播放| 欧美日韩一区 二区 三区 久久精品| 精品午夜一区二区三区在线观看| 亚洲免费观看在线观看| 久久尤物电影视频在线观看| 欧美亚洲动漫制服丝袜| 成人va在线观看| 蜜桃av噜噜一区二区三区小说| 自拍偷拍亚洲欧美日韩| 久久亚洲综合色| 欧美高清一级片在线| 日本福利一区二区| 菠萝蜜视频在线观看一区| 九色|91porny| 蜜臀av在线播放一区二区三区| 亚洲宅男天堂在线观看无病毒 | 久久国产免费看| 成人欧美一区二区三区1314| 欧美精品一区二区三区视频| 欧美久久久久免费| 欧美日本在线看| 色婷婷国产精品久久包臀| 成人午夜视频网站| 国产69精品久久久久777| 激情综合网天天干| 韩国三级电影一区二区| 久久国产精品99久久人人澡| 日本午夜一区二区| 美女精品自拍一二三四| 婷婷开心久久网| 日本亚洲天堂网| 蜜桃一区二区三区在线观看| 免费在线观看视频一区| 日韩av高清在线观看| 蜜桃av噜噜一区二区三区小说| 免费观看在线综合| 精品亚洲成a人| 福利视频网站一区二区三区| 国产69精品久久久久777| 播五月开心婷婷综合| 在线精品视频免费播放| 欧美日韩一本到| 日韩精品中午字幕| 欧美激情一区二区| 亚洲乱码国产乱码精品精可以看| 伊人婷婷欧美激情| 日本不卡的三区四区五区| 国内外成人在线| k8久久久一区二区三区| 欧美中文字幕不卡| 欧美成人伊人久久综合网| 国产清纯白嫩初高生在线观看91| 中文字幕佐山爱一区二区免费| 亚洲国产成人av好男人在线观看| 亚洲大尺度视频在线观看| 美日韩一区二区| a级精品国产片在线观看| 欧美日韩一区 二区 三区 久久精品| 日韩一区二区电影| 中文字幕一区三区| 免费人成网站在线观看欧美高清| 成人在线一区二区三区| 欧美色图12p| 日本一区二区三区久久久久久久久不 | 国产精品99久久久久久久女警| av中文字幕不卡| 欧美一区二区三区视频免费播放 | 日韩免费视频线观看| 国产人妖乱国产精品人妖| 亚洲乱码日产精品bd| 精品无码三级在线观看视频| 91丨九色丨黑人外教| 精品国产伦一区二区三区免费| 日韩久久一区二区| 国产永久精品大片wwwapp| 在线日韩一区二区| 亚洲国产经典视频| 久久精品国产精品亚洲红杏| 一本到不卡精品视频在线观看| 日韩欧美不卡在线观看视频| 亚洲人成在线播放网站岛国| 九九国产精品视频| 欧美人牲a欧美精品| 亚洲私人黄色宅男| 成人一区在线看| 久久久美女艺术照精彩视频福利播放| 一片黄亚洲嫩模| 色一区在线观看| 中文字幕在线观看一区| 国产中文一区二区三区| 制服丝袜成人动漫| 亚洲一区二区三区在线看 | 国产成人在线网站| 欧美一区二区三区日韩| 午夜视频久久久久久| 在线观看一区不卡| 中文字幕日韩欧美一区二区三区| 国产一区视频在线看| 日韩久久久久久| 精品综合久久久久久8888| 欧美一级午夜免费电影| 日韩综合在线视频| 欧美精品在线观看一区二区| 亚洲国产综合人成综合网站| 色综合一个色综合| 亚洲精品中文在线影院| 色哟哟在线观看一区二区三区| 亚洲欧洲中文日韩久久av乱码| 不卡的看片网站| 亚洲色欲色欲www在线观看| 色综合视频一区二区三区高清| 亚洲免费看黄网站| 欧美精品自拍偷拍动漫精品| 日本午夜精品一区二区三区电影| 91精品国产色综合久久不卡电影| 免费观看30秒视频久久| 久久久夜色精品亚洲| 波多野结衣中文字幕一区| 一区二区成人在线视频| 欧美一卡二卡三卡| 国产成人av在线影院| 1024国产精品| 欧美日本一区二区在线观看| 美女免费视频一区| 亚洲欧美综合色| 7777精品伊人久久久大香线蕉的| 另类小说视频一区二区| 国产女人水真多18毛片18精品视频| 成人美女视频在线观看18| 一区二区免费在线| 欧美一区二区三区小说| 成人久久视频在线观看| 亚洲.国产.中文慕字在线| 精品国产乱码久久久久久久| 99视频一区二区| 美女网站色91| 亚洲欧美aⅴ...| 日韩视频123| 91麻豆国产福利精品| 麻豆精品精品国产自在97香蕉| 国产精品全国免费观看高清| 在线综合视频播放| 99久久er热在这里只有精品15| 丝袜国产日韩另类美女| 中文子幕无线码一区tr| 欧美一区二区三区四区视频 | 久久九九影视网| 在线观看亚洲成人| 国产成人av电影| 免费精品99久久国产综合精品| 中文字幕一区二区在线观看| 日韩视频一区二区| 欧美日韩黄视频| 一本一本大道香蕉久在线精品 | 欧美日韩另类一区| 成人午夜视频在线| 国产精品影视在线观看| 日本午夜一区二区| 亚洲国产日韩a在线播放| 国产精品日韩成人| 国产日韩欧美a| 欧美电视剧在线观看完整版| 在线一区二区视频| 97se亚洲国产综合自在线| 国产乱妇无码大片在线观看| 日韩av一级电影| 日本不卡视频一二三区| 五月婷婷另类国产| 日日欢夜夜爽一区| 日韩国产欧美在线观看| 亚洲成人激情自拍| 亚洲国产美国国产综合一区二区| 亚洲欧洲制服丝袜|