歷時(shí)8年終發(fā)Science，他證明老鼠有類人的想象力

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：歷時(shí)8年終發(fā)Science，他證明老鼠有類人的想象力

關(guān)鍵字：模型,報(bào)告,注意力,機(jī)制,準(zhǔn)確率

文章來源：人工智能學(xué)家

內(nèi)容字?jǐn)?shù)：4067字

內(nèi)容摘要：來源：量子位關(guān)于大模型注意力機(jī)制，Meta又有了一項(xiàng)新研究。通過調(diào)整模型注意力，屏蔽無關(guān)信息的干擾，新的機(jī)制讓大模型準(zhǔn)確率進(jìn)一步提升。而且這種機(jī)制不需要微調(diào)或訓(xùn)練，只靠Prompt就能讓大模型的準(zhǔn)確率上升27%。作者把這種注意力機(jī)制命名為“System 2 Attention”（S2A），它來自于2002年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主丹尼爾·卡尼曼的暢銷書《思考，快與慢》中提到的心理學(xué)概念——雙系統(tǒng)思維模式中的“系統(tǒng)2”。所謂系統(tǒng)2是指復(fù)雜有意識(shí)的推理，與之相對(duì)的是系統(tǒng)1，即簡(jiǎn)單無意識(shí)的直覺。S2A通過提示詞對(duì)Transformer中的注意力機(jī)制進(jìn)行了“調(diào)節(jié)”，使模型整體上的思考方式更接近系統(tǒng)2。有網(wǎng)友形容，這種機(jī)制像是給AI加了一層“護(hù)目鏡”。此外，作者還在論文標(biāo)題中說，不只是大模型，這種思維模式或許人類自己也需要學(xué)習(xí)。那么，這種方法具體是如何實(shí)現(xiàn)的呢？避免大模型被“誤導(dǎo)”傳統(tǒng)大模型常用的Tran…

原文鏈接：點(diǎn)此閱讀原文：歷時(shí)8年終發(fā)Science，他證明老鼠有類人的想象力

聯(lián)系作者

文章來源：人工智能學(xué)家

作者微信：AItists

作者簡(jiǎn)介：致力成為權(quán)威的人工智能科技媒體和前沿科技研究機(jī)構(gòu)