AIGC動態歡迎閱讀
原標題:港大新型圖基礎模型AnyGraph:挑戰Scaling Law,精準建模多樣化結構模式和特征空間
關鍵字:模型,數據,特征,專家,樣本
文章來源:量子位
內容字數:0字
內容摘要:
AnyGraph團隊 投稿量子位 | 公眾號 QbitAI新型圖基礎模型來了——
AnyGraph,基于圖混合專家(MoE)架構,專門為實現圖模型跨場景泛化而生。
通過MoE架構、路由算法、SVD方法和MLP網絡等,AnyGraph解決了跨域和域內圖異構性問題,并進行了高效跨域模型訓練。
能夠精準建模多樣化的結構模式和特征空間。
在38個不同領域數據集上進行實驗,AnyGraph在零樣本預測、擴展定律、消融實驗和效率實驗等方面均表現出色。
AnyGraph由來自香港大學的研究人員完成。
關于AnyGraph的更多細節我們接著往下看。
AnyGraph長啥樣?隨著圖結構數據在各個領域的日益普及,對具有出色泛化能力的圖學習模型的需求愈發迫切。
現實應用中,圖學習模型需有效應對分布偏移并適應新的圖領域,但當前的先進模型在真正的泛化性能方面往往表現不足,嚴重依賴繁重的微調過程,難以適應實際應用中多樣的圖結構和分布。
受成功的基礎模型在理解視覺和語言數據方面的啟發,通用的圖基礎模型具有巨大潛力,可從多樣的圖結構數據中學習可遷移的表示,從而高效適應各種圖領域和任務。
然而,構建有效的自適應圖基礎模
原文鏈接:港大新型圖基礎模型AnyGraph:挑戰Scaling Law,精準建模多樣化結構模式和特征空間
聯系作者
文章來源:量子位
作者微信:
作者簡介:
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...