Nature封面：AI訓(xùn)AI，越訓(xùn)越傻

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：Nature封面：AI訓(xùn)AI，越訓(xùn)越傻
關(guān)鍵字：模型,報(bào)告,誤差,數(shù)據(jù),概率
文章來源：人工智能學(xué)家
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

來源：量子位 | 公眾號 QbitAI白交 發(fā)自 凹非寺AI訓(xùn)練AI，可能會(huì)讓AI變傻？！
來自牛津、劍橋等學(xué)校機(jī)構(gòu)的研究人員最新發(fā)現(xiàn)，使用合成數(shù)據(jù)訓(xùn)練，大模型可能會(huì)崩潰。其研究成果被選為最新的Nature封面。
直接一個(gè)：GARBAGE OUT！
要知道，現(xiàn)在絕大部分科技公司的大模型都在用合成數(shù)據(jù)來緩解“數(shù)據(jù)荒”。這下無疑是整個(gè)行業(yè)澆了一波冷水。
研究團(tuán)隊(duì)給了這樣一個(gè)例子。
他們測試了Meta的OPT-125m模型，詢問了關(guān)于中世紀(jì)建筑的相關(guān)信息。
每一次微調(diào)都是由上一次生成的數(shù)據(jù)來訓(xùn)練。結(jié)果前面幾輪回答還好。結(jié)果就在第九次，就開始胡說八道……
扯到兔子是什么鬼？！
該論文主要作者表示，他們曾考慮過合成數(shù)據(jù)可能對大模型造成誤差，但未曾預(yù)料到模型的惡化速度會(huì)如此迅速。
三個(gè)誤差導(dǎo)致模型崩潰首先，團(tuán)隊(duì)定義了什么是模型崩潰。
模型崩潰是一個(gè)退化過程，模型生成的內(nèi)容會(huì)污染下一代的訓(xùn)練數(shù)據(jù)集。而在被污染的數(shù)據(jù)上訓(xùn)練之后，新一代模型就容易誤解現(xiàn)實(shí)。
以此循環(huán)往復(fù)，一代更比一代差。
按照時(shí)間推移，主要分為兩種情況：早期模型崩潰和晚期模型崩潰。
早期模型崩潰中，模型開始丟失一些尾部信息。（類似概率分

原文鏈接：Nature封面：AI訓(xùn)AI，越訓(xùn)越傻

聯(lián)系作者

文章來源：人工智能學(xué)家
作者微信：
作者簡介：