AIGC動態歡迎閱讀

原標題：用最直觀的動畫，講解LLM如何存儲事實，3Blue1Brown的這個視頻又火了
關鍵字：向量,矩陣,參數,模型,視頻
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：Panda W、陳陳本文根據視頻整理而來，有聽錯或理解不當之處歡迎在評論區指出。向大模型輸入「Michael Jordan plays the sport of _____（邁克爾?喬丹從事的體育是……）」，然后讓其預測接下來的文本，那么大模型多半能正確預測接下來是「basketball（籃球）」。
這說明在其數以億計的參數中潛藏了有關這個特定個人的相關知識。用戶甚至會感覺這些模型記憶了大量事實。
但事實究竟如何呢？
近日，3Blue1Brown 的《深度學習》課程第 7 課更新了，其中通過生動詳實的動畫展示了 LLM 存儲事實的方式。視頻瀏覽量高達 18 萬次。去年 12 月，谷歌 DeepMind 的一些研究者發布了一篇相關論文，其中的具體案例便是匹配員以及他們各自的項目。雖然這篇論文并未完全解答有關 LLM 事實存儲的問題，但也得到了一些頗為有趣的結果，其中的一個重點是：事實保存在網絡中的一個特定部分，這個部分也就是我們熟知的多層感知器（MLP）。
在 3Blue1Brown 剛剛更新的這期視頻中，他們用 23 分的視頻演示了大型語言模型如何存儲和

原文鏈接：用最直觀的動畫，講解LLM如何存儲事實，3Blue1Brown的這個視頻又火了

聯系作者

文章來源：機器之心
作者微信：
作者簡介：