港大開源圖基礎(chǔ)大模型OpenGraph: 強(qiáng)泛化能力，前向傳播預(yù)測(cè)全新數(shù)據(jù)

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：港大開源圖基礎(chǔ)大模型OpenGraph: 強(qiáng)泛化能力，前向傳播預(yù)測(cè)全新數(shù)據(jù)
關(guān)鍵字：數(shù)據(jù),模型,節(jié)點(diǎn),性能,團(tuán)隊(duì)
文章來源：量子位
內(nèi)容字?jǐn)?shù)：7339字

內(nèi)容摘要：

OpenGraph 投稿向 凹非寺量子位 | 公眾號(hào) QbitAI圖學(xué)習(xí)領(lǐng)域的數(shù)據(jù)問題，又有能緩解的新花活了！
OpenGraph，一個(gè)基于圖的基礎(chǔ)模型，專門用于在多種圖數(shù)據(jù)集上進(jìn)行零樣本預(yù)測(cè)。
背后是港大數(shù)據(jù)智能實(shí)驗(yàn)室的主任Chao Huang團(tuán)隊(duì)，他們還針對(duì)圖模型提出了提示調(diào)整技術(shù)，以提高模型對(duì)新任務(wù)的適應(yīng)性。
目前，這項(xiàng)工作已經(jīng)掛上了GitHub。
據(jù)介紹，這項(xiàng)工作主要深入探討增強(qiáng)圖模型泛化能力的策略（特別是在訓(xùn)練和測(cè)試數(shù)據(jù)存在顯著差異時(shí)）。
而OpenGraph旨在通過學(xué)習(xí)通用的圖結(jié)構(gòu)模式，并僅通過前向傳播進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)對(duì)全新數(shù)據(jù)的零樣本預(yù)測(cè)。
為了實(shí)現(xiàn)目標(biāo)，團(tuán)隊(duì)解決了以下3點(diǎn)挑戰(zhàn)：
數(shù)據(jù)集間的token差異：不同圖數(shù)據(jù)集常有不同的圖token集，我們需要模型能夠跨數(shù)據(jù)集進(jìn)行預(yù)測(cè)。
節(jié)點(diǎn)關(guān)系建模：在構(gòu)建通用圖模型時(shí)，有效地建模節(jié)點(diǎn)關(guān)系至關(guān)重要，這關(guān)系到模型的擴(kuò)展性和效率。
數(shù)據(jù)稀缺：面對(duì)數(shù)據(jù)獲取的難題，我們通過大型語言模型進(jìn)行數(shù)據(jù)增強(qiáng)，以模擬復(fù)雜的圖結(jié)構(gòu)關(guān)系，提升模型訓(xùn)練質(zhì)量。
通過一系列創(chuàng)新方法，如拓?fù)涓兄膱DTokenizer和基于錨點(diǎn)的圖Transformer，Ope

原文鏈接：港大開源圖基礎(chǔ)大模型OpenGraph: 強(qiáng)泛化能力，前向傳播預(yù)測(cè)全新數(shù)據(jù)

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破