AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：解決Transformer根本缺陷，CoPE論文爆火：所有大模型都能獲得巨大改進(jìn)
關(guān)鍵字：位置,上下文,向量,任務(wù),方法
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

機(jī)器之心報(bào)道
機(jī)器之心編輯部即使最強(qiáng)大的 LLM 也難以通過 token 索引來關(guān)注句子等概念，現(xiàn)在有辦法了。最近兩天，馬斯克和 LeCun 的口水戰(zhàn)妥妥成為大家的看點(diǎn)。這兩位 AI 圈的名人你來我往，在（現(xiàn)為 X）上相互拆對(duì)方臺(tái)。LeCun 在宣傳自家最新論文時(shí)，也不忘手動(dòng) @ 一把馬斯克，并意味深長(zhǎng)地囑咐道：「馬斯克，我們這項(xiàng)研究用來改善你家的 Grok 也沒問題。」LeCun 宣傳的這篇論文題目為《 Contextual Position Encoding: Learning to Count What’s Important 》，來自 Meta 的 FAIR。
罵戰(zhàn)歸罵戰(zhàn)，這篇論文的重要性不言而喻。短短 24 小時(shí)之內(nèi)就成為了 AI 領(lǐng)域最熱門的論文之一。它有望解決如今大模型（LLM）最讓人頭疼的問題。論文地址：https://arxiv.org/pdf/2405.18719
總的來說，該研究提出了一種新的用于 transformer 的位置編碼方法 CoPE（全稱 Contextual Position Encoding），解決了標(biāo)準(zhǔn) transformer 無法解決的計(jì)

原文鏈接：解決Transformer根本缺陷，CoPE論文爆火：所有大模型都能獲得巨大改進(jìn)

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)