大模型的研究趨勢(shì)已發(fā)生改變

原標(biāo)題：分享NeurIPS 2024投稿經(jīng)驗(yàn)！浙大團(tuán)隊(duì)用DePLM模型助力蛋白質(zhì)優(yōu)化，論文一作在線展示demo
文章來(lái)源：HyperAI超神經(jīng)
內(nèi)容字?jǐn)?shù)：12156字

借助擴(kuò)散去噪過(guò)程助力大模型對(duì)蛋白質(zhì)的優(yōu)化

在Meet AI4S第五期中，浙江大學(xué)知識(shí)引擎實(shí)驗(yàn)室的博士研究生王澤元分享了他們?cè)贜eurIPS 2024上發(fā)表的論文，主題為“借助擴(kuò)散去噪過(guò)程助力大模型對(duì)蛋白質(zhì)的優(yōu)化”。王博士指出，AI for Science正在改變科研范式，提高科研效率，尤其在蛋白質(zhì)研究領(lǐng)域尤為顯著。

1. 研究背景與目標(biāo)

蛋白質(zhì)是生命的基本組成部分，其功能與氨基酸序列密切相關(guān)。傳統(tǒng)的蛋白質(zhì)優(yōu)化方法如定向進(jìn)化和深度突變掃描消耗資源較大，因此需要新的計(jì)算方法來(lái)模擬蛋白質(zhì)與其屬性的適應(yīng)度關(guān)系。王博士的團(tuán)隊(duì)提出了DePLM模型，旨在通過(guò)去噪過(guò)程最大化利用進(jìn)化信息，優(yōu)化蛋白質(zhì)的性能。

2. DePLM模型的設(shè)計(jì)與實(shí)現(xiàn)

DePLM模型的核心在于將蛋白質(zhì)語(yǔ)言模型捕獲的進(jìn)化信息視為目標(biāo)屬性優(yōu)化中的無(wú)關(guān)噪聲。通過(guò)正向擴(kuò)散過(guò)程逐步添加噪聲，反向去噪則學(xué)習(xí)消除噪聲，從而恢復(fù)真實(shí)情況。該模型基于排序空間進(jìn)行去噪，旨在增強(qiáng)模型的泛化能力。

3. 實(shí)驗(yàn)結(jié)果與性能評(píng)估

在多個(gè)蛋白質(zhì)工程任務(wù)上，DePLM的表現(xiàn)優(yōu)于基線模型，顯示出高質(zhì)量的進(jìn)化信息顯著改善了優(yōu)化結(jié)果。此外，DePLM在不同屬性間的訓(xùn)練與測(cè)試中展現(xiàn)出良好的泛化能力，證明了過(guò)濾無(wú)關(guān)信息的重要性。

4. 未來(lái)展望與團(tuán)隊(duì)成果

王博士的團(tuán)隊(duì)不僅致力于優(yōu)化蛋白質(zhì)，還探索了蛋白質(zhì)語(yǔ)言與人類語(yǔ)言之間的對(duì)齊，提出了InstructProtein模型，力求彌補(bǔ)兩者之間的差距。此外，團(tuán)隊(duì)還開(kāi)發(fā)了多用途蛋白質(zhì)序列設(shè)計(jì)方法PROPEND，取得了顯著的功能恢復(fù)率。未來(lái)，他們將繼續(xù)在AI for Science領(lǐng)域深耕，推動(dòng)研究進(jìn)展。

通過(guò)王澤元博士的分享，觀眾對(duì)DePLM模型及其在蛋白質(zhì)優(yōu)化中的應(yīng)用有了更深入的理解，也獲得了投稿頂會(huì)的經(jīng)驗(yàn)與建議。

聯(lián)系作者

文章來(lái)源：HyperAI超神經(jīng)
作者微信：
作者簡(jiǎn)介：解構(gòu)技術(shù)先進(jìn)性與普適性，報(bào)道更前沿的 AIforScience 案例