更像人腦的新型注意力機(jī)制，Meta讓大模型自動(dòng)屏蔽任務(wù)無(wú)關(guān)信息，準(zhǔn)確率提高27%

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：更像人腦的新型注意力機(jī)制，Meta讓大模型自動(dòng)屏蔽任務(wù)無(wú)關(guān)信息，準(zhǔn)確率提高27%

關(guān)鍵字：模型,注意力,機(jī)制,準(zhǔn)確率,提示

文章來(lái)源：量子位

內(nèi)容字?jǐn)?shù)：4573字

內(nèi)容摘要：克雷西 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI關(guān)于大模型注意力機(jī)制，Meta又有了一項(xiàng)新研究。通過(guò)調(diào)整模型注意力，屏蔽無(wú)關(guān)信息的干擾，新的機(jī)制讓大模型準(zhǔn)確率進(jìn)一步提升。而且這種機(jī)制不需要微調(diào)或訓(xùn)練，只靠Prompt就能讓大模型的準(zhǔn)確率上升27%。作者把這種注意力機(jī)制命名為“System 2 Attention”（S2A），它來(lái)自于2002年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主丹尼爾·卡尼曼的暢銷(xiāo)書(shū)《思考，快與慢》中提到的心理學(xué)概念——雙系統(tǒng)思維模式中的“系統(tǒng)2”。所謂系統(tǒng)2是指復(fù)雜有意識(shí)的推理，與之相對(duì)的是系統(tǒng)1，即簡(jiǎn)單無(wú)意識(shí)的直覺(jué)。S2A通過(guò)提示詞對(duì)Transformer中的注意力機(jī)制進(jìn)行了“調(diào)節(jié)”，使模型整體上的思考方式更接近系統(tǒng)2。有網(wǎng)友形容，這種機(jī)制像是給AI加了一層“護(hù)目鏡”。此外，作者還在論文標(biāo)題中說(shuō)，不只是大模型，這種思維模式或許人類(lèi)自己也需要學(xué)習(xí)。那么，這種方法具體是如何實(shí)現(xiàn)的呢？避免…

原文鏈接：點(diǎn)此閱讀原文：更像人腦的新型注意力機(jī)制，Meta讓大模型自動(dòng)屏蔽任務(wù)無(wú)關(guān)信息，準(zhǔn)確率提高27%

聯(lián)系作者

文章來(lái)源：量子位

作者微信：QbitAI

作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破