AIGC動態(tài)歡迎閱讀

原標(biāo)題：AI自己「長出」了類似大腦的「腦葉」？新研究揭示LLM特征的驚人幾何結(jié)構(gòu)
關(guān)鍵字：報告,特征,作者,結(jié)構(gòu),向量
文章來源：機器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

機器之心報道
編輯：張倩、蛋醬大型語言模型在學(xué)習(xí)概念時竟然會形成令人驚訝的幾何結(jié)構(gòu)，比如代碼和數(shù)學(xué)特征會形成一個「葉（lobe）」，類似于我們在做磁共振功能成像時看到的大腦功能性腦葉。這說明什么呢？?論文通訊作者、MIT 物理學(xué)教授 Max Tegmark 的推文。值得注意的是，Max Tegmark 也是著名的 KAN 論文的作者之一，是 KAN 論文一作 ZimingLiu 的導(dǎo)師。
在過去的一年，學(xué)術(shù)界在理解大型語言模型如何工作方面取得了突破性進展：稀疏自編碼器（SAE）在其激活空間中發(fā)現(xiàn)了大量可解釋為概念的點（「特征」）。最近，此類 SAE 點云已公開發(fā)布，因此研究其在不同尺度上的結(jié)構(gòu)正當(dāng)其時。
最近，來自 MIT 的一個團隊公布了他們的研究成果。論文標(biāo)題：The Geometry of Concepts: Sparse Autoencoder Feature Structure
論文鏈接：https://arxiv.org/pdf/2410.19750
具體來說，他們發(fā)現(xiàn) SAE 特征的概念宇宙在三個層面上具有有趣的結(jié)構(gòu)：
第一個是「原子」小尺度層面。在這個層面上，作者發(fā)現(xiàn)

原文鏈接：AI自己「長出」了類似大腦的「腦葉」？新研究揭示LLM特征的驚人幾何結(jié)構(gòu)

聯(lián)系作者

文章來源：機器之心
作者微信：
作者簡介：