探索大腦中語言理解機制，香港理工大學從LLM中得到新啟發，登Science子刊

AIGC動態歡迎閱讀

原標題：探索大腦中語言理解機制，香港理工大學從LLM中得到新啟發，登Science子刊
關鍵字：模型,語言,話語,大腦,人類
文章來源：人工智能學家
內容字數：0字

內容摘要：

將 ScienceAI設為星標
第一時間掌握
新鮮的 AI for Science 資訊編輯 | 蘿卜皮
當前的大型語言模型 (LLMs) 依賴單詞預測作為其骨干預訓練任務。盡管單詞預測是語言處理的重要機制，但人類語言理解發生在多個層面，涉及單詞和句子的整合以實現對話語的充分理解。
香港理工大學的研究人員通過使用下一句預測（Next Sentence Prediction，NSP）任務對語言理解進行建模，從而研究話語級理解的機制。
該團隊表明，NSP 預訓練增強了模型與大腦數據的一致性，尤其是在右半球和多需求網絡中，突出了非經典語言區域對高級語言理解的貢獻。NSP 可以使模型更好地捕捉人類理解性能并更好地編碼上下文信息。
另外，在模型中包含不同的學習目標會產生更加類似于人類的表征，并且研究 LLMs 預訓練任務的神經認知合理性可以揭示語言神經科學中的突出問題。
該研究以「Predicting the next sentence (not word) in large language models: What model-brain alignment tells us about d

原文鏈接：探索大腦中語言理解機制，香港理工大學從LLM中得到新啟發，登Science子刊

聯系作者

文章來源：人工智能學家
作者微信：AItists
作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構