AIGC動態歡迎閱讀

原標題：AI自己「長出」了類似大腦的「腦葉」？新研究揭示LLM特征的驚人幾何結構
關鍵字：報告,特征,作者,結構,向量
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：張倩、蛋醬大型語言模型在學習概念時竟然會形成令人驚訝的幾何結構，比如代碼和數學特征會形成一個「葉（lobe）」，類似于我們在做磁共振功能成像時看到的大腦功能性腦葉。這說明什么呢？?論文通訊作者、MIT 物理學教授 Max Tegmark 的推文。值得注意的是，Max Tegmark 也是著名的 KAN 論文的作者之一，是 KAN 論文一作 ZimingLiu 的導師。
在過去的一年，學術界在理解大型語言模型如何工作方面取得了突破性進展：稀疏自編碼器（SAE）在其激活空間中發現了大量可解釋為概念的點（「特征」）。最近，此類 SAE 點云已公開發布，因此研究其在不同尺度上的結構正當其時。
最近，來自 MIT 的一個團隊公布了他們的研究成果。論文標題：The Geometry of Concepts: Sparse Autoencoder Feature Structure
論文鏈接：https://arxiv.org/pdf/2410.19750
具體來說，他們發現 SAE 特征的概念宇宙在三個層面上具有有趣的結構：
第一個是「原子」小尺度層面。在這個層面上，作者發現

原文鏈接：AI自己「長出」了類似大腦的「腦葉」？新研究揭示LLM特征的驚人幾何結構

聯系作者

文章來源：機器之心
作者微信：
作者簡介：