孫浩團(tuán)隊(duì)與楊立軍團(tuán)隊(duì)合作發(fā)文，提出預(yù)測(cè)復(fù)雜系統(tǒng)的新方法。中國人民大學(xué)高瓴人工智能學(xué)院長聘副教授孫浩團(tuán)隊(duì)與北京航空航天大學(xué)楊立軍教授團(tuán)隊(duì)合作，近日在Nature子刊Nature Machine Intelligence（《自然-機(jī)器智能》）發(fā)表題為“Learning spatiotemporal dynamics with a pretrained generative model”的文章，提出了一種基于擴(kuò)散生成模型的動(dòng)態(tài)系統(tǒng)預(yù)測(cè)算法，稱為S^{3GM（Sparse-Sensor-assisted Score-based Generative Model）。該方法融合了物理先驗(yàn)知識(shí)與實(shí)驗(yàn)測(cè)量數(shù)據(jù)，旨在解決現(xiàn)代科學(xué)與工程中的一大關(guān)鍵挑戰(zhàn)：從稀疏的傳感器測(cè)量數(shù)據(jù)中重建復(fù)雜的時(shí)空物理場(chǎng)。研究團(tuán)隊(duì)展示了S3GM即使在數(shù)據(jù)極為不完整和有噪聲的情況下，也能夠準(zhǔn)確預(yù)測(cè)燃燒、流動(dòng)、氣候演變及其他眾多物理系統(tǒng)的動(dòng)態(tài)過程，為動(dòng)力系統(tǒng)建模提供了新的思路。文章共同第一作者為李澤宇（北航）、韓旺（北航），共同通訊作者為孫浩（人大）、鄧岳（北航）、楊立軍（北航）。論文鏈接：https://www.nature.com/articles/s42256-024-00938-z這是人大高瓴人工智能學(xué)院師生團(tuán)隊(duì)在《自然-機(jī)器智能》發(fā)表的第二篇論文。此前，孫浩團(tuán)隊(duì)已在《自然-機(jī)器智能》刊發(fā)題為“Encoding physics to learn reaction-diffusion process”的論文（Nature Machine Intelligence， 2023， 5: 765-779）。如何從稀疏的傳感器測(cè)量數(shù)據(jù)中重建復(fù)雜的時(shí)空物理場(chǎng)是現(xiàn)代科學(xué)與工程中的一大關(guān)鍵難題。比如，航空航天發(fā)動(dòng)機(jī)測(cè)試中，傳感器的數(shù)量、類型、分布以及測(cè)量信噪比等往往非常有限，難以獲取發(fā)動(dòng)機(jī)內(nèi)部完整的物理過程。傳統(tǒng)重構(gòu)方法難以對(duì)復(fù)雜的動(dòng)力學(xué)進(jìn)行精確重構(gòu)，而現(xiàn)有的深度學(xué)習(xí)方法在面對(duì)不同的傳感器配置時(shí)往往難以泛化。為了解決這一難題，研究團(tuán)隊(duì)提出了一種基于擴(kuò)散生成模型的動(dòng)態(tài)系統(tǒng)預(yù)測(cè)算法，稱為S3GM。S3GM模型分為兩個(gè)階段（圖1）：圖1用S3GM建模動(dòng)力系統(tǒng)的示意圖。S3GM模型分為預(yù)訓(xùn)練（子圖c）和生成（子圖d）兩個(gè)階段在第一階段，S3GM在通過物理先驗(yàn)知識(shí)獲取的時(shí)空數(shù)據(jù)上進(jìn)行基于擴(kuò)散模型自監(jiān)督預(yù)訓(xùn)練，聯(lián)合建模系統(tǒng)狀態(tài)變量和參數(shù)之間的復(fù)雜動(dòng)力學(xué)關(guān)系，并通過時(shí)空分離的注意力機(jī)制來減緩算力消耗。在第二階段，利用預(yù)訓(xùn)練的擴(kuò)散模型作為先驗(yàn)，結(jié)合稀疏的傳感器數(shù)據(jù)進(jìn)行后驗(yàn)采樣來對(duì)動(dòng)力系統(tǒng)進(jìn)行重建和預(yù)測(cè)。為了生成滿足觀測(cè)的動(dòng)力系統(tǒng)隨時(shí)間演化的狀態(tài)變量和參數(shù)，模型將完整的待重構(gòu)序列分為兩段子序列，其中一段直接依賴于觀測(cè)數(shù)據(jù)而另一段為外推序列（不直接依賴于觀測(cè)數(shù)據(jù)）。對(duì)于依賴于觀測(cè)數(shù)據(jù)的子序列，S3GM并行生成多個(gè)樣本，并通過添加觀測(cè)一致性和序列一致性約束來生成連續(xù)幀；對(duì)于不直接依賴于觀測(cè)數(shù)據(jù)的子序列，S3GM采用自回歸形式逐段生成以保證最優(yōu)的效果。這種后驗(yàn)采樣的方法不僅可以處理各種不同的傳感器分布、類型等，還可以處理任意長的時(shí)間序列。圖2Kuramoto-Sivashinsky系統(tǒng)的重構(gòu)與預(yù)測(cè)。上、中、下三行代表模型在三種不同的觀測(cè)類型下的重構(gòu)/預(yù)測(cè)結(jié)果研究人員在多個(gè)不同的物理系統(tǒng)上驗(yàn)證了S3GM的有效性，結(jié)果囊括了反應(yīng)擴(kuò)散系統(tǒng)（圖2）、湍流系統(tǒng)以及真實(shí)的氣候觀測(cè)數(shù)據(jù)（圖3），在每個(gè)例子中測(cè)試了各種不同的觀測(cè)數(shù)據(jù)形式（包含任意時(shí)空分布的稀疏測(cè)量、統(tǒng)計(jì)量測(cè)量以及未來時(shí)刻預(yù)測(cè)等），S3GM可以根據(jù)相應(yīng)的觀測(cè)信息對(duì)動(dòng)力系統(tǒng)的狀態(tài)變量和參數(shù)進(jìn)行有效重構(gòu)而無需重新訓(xùn)練。這意味著S3GM相比于傳統(tǒng)的端到端訓(xùn)練方式不僅泛化能力更好，而且面對(duì)高稀疏性以及噪聲數(shù)據(jù)具有更好的魯棒性。圖3湍流流場(chǎng)重構(gòu)結(jié)果展示。相較于其它方法，S3GM擁有更低的重構(gòu)誤差，并且更能夠滿足湍流場(chǎng)的統(tǒng)計(jì)指標(biāo)（湍流能譜）此外，S3GM利用僅在仿真數(shù)據(jù)上預(yù)訓(xùn)練的模型，成功從真實(shí)流場(chǎng)的極稀疏測(cè)量數(shù)據(jù)中重構(gòu)出流場(chǎng)信息（圖4），證明了該模型即使在極端數(shù)據(jù)稀疏和噪聲條件下的泛化能力和魯棒性。圖4利用實(shí)驗(yàn)室測(cè)量的稀疏數(shù)據(jù)重構(gòu)完整流場(chǎng)。子圖a為實(shí)驗(yàn)裝置圖、子圖b表示測(cè)量數(shù)據(jù)僅從流場(chǎng)單一截面處獲取，而子圖c和d展示了S3GM重構(gòu)的結(jié)果“S3GM從有限的、有噪聲的數(shù)據(jù)中進(jìn)行泛化的能力，使其成為在數(shù)據(jù)收集具有挑戰(zhàn)性的現(xiàn)實(shí)場(chǎng)景中的強(qiáng)大工具，”團(tuán)隊(duì)研究人員稱，“該模型為我們提供了一種理解和預(yù)測(cè)自然界與工程復(fù)雜系統(tǒng)的新方法”。研究人員計(jì)劃進(jìn)一步優(yōu)化該模型的計(jì)算效率，并探索其在更具挑戰(zhàn)性的動(dòng)力系統(tǒng)中的應(yīng)用。這一工作為利用預(yù)訓(xùn)練生成模型來改善小數(shù)據(jù)條件下對(duì)高度復(fù)雜動(dòng)力學(xué)的預(yù)測(cè)奠定了基礎(chǔ)，為推進(jìn)科學(xué)理解和技術(shù)發(fā)展提供了新的可能性。本研究工作獲得國家自然科學(xué)基金委（重大科研儀器研制項(xiàng)目、重點(diǎn)項(xiàng)目、重大研究計(jì)劃培育項(xiàng)目、面上項(xiàng)目）以及國家重點(diǎn)研發(fā)計(jì)劃的支持。}