KG+LM超越傳統架構！海德堡提出全新圖語言模型GLM | ACL 2024

AIGC動態歡迎閱讀

原標題：KG+LM超越傳統架構！海德堡提出全新圖語言模型GLM | ACL 2024
關鍵字：節點,模型,語言,關系,文本
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：alan
【新智元導讀】近日，來自海德堡大學的研究人員推出了圖語言模型 (GLM)，將語言模型的語言能力和知識圖譜的結構化知識，統一到了同一種模型之中。語言模型（LM）的成功似乎掩蓋了旁人的光輝。
比如知識圖譜（knowledge graph，KG），這個整合了實體關系的結構化知識庫。
通常來說，語言模型代表了語言能力，而知識圖譜蘊含了結構信息。
長期以來，對于KG的利用大致可以分為兩類：
第一類是將KG線性化后嵌入LM，這種做法并不能充分利用其結構信息；
第二類是使用圖神經網絡 (GNN) 來保留圖結構，但GNN無法表示文本特征，也無法與LM的預訓練特征結合。
——有沒有辦法結合二者的優點，既保留預訓練LM的能力，又充分利用KG來增強模型對于圖概念和三元組的理解？
當然有，不然小編就不會寫，那就是來自海德堡大學的研究人員推出的圖語言模型 (GLM)。
論文地址：https://aclanthology.org/2024.acl-long.245.pdf
GLM集成了兩種方法的優勢并彌補了它們的缺點。
作者使用預訓練LM來初始化GLM的參數，同時又設計新的架構來促進有

原文鏈接：KG+LM超越傳統架構！海德堡提出全新圖語言模型GLM | ACL 2024

聯系作者

文章來源：新智元
作者微信：
作者簡介：