文章將從統(tǒng)計物理的視角，從伊辛模型出發(fā)，逐步介紹霍普菲爾德和辛頓的主要貢獻，其中包括Hopfield模型、玻爾茲曼機、非監(jiān)督學習，以及現(xiàn)代生成模型。

原標題：大自然的計算：從伊辛模型到生成學習
文章來源：人工智能學家
內(nèi)容字數(shù)：25247字

2024年諾貝爾物理學獎：統(tǒng)計物理視角下的深度學習

本文回顧了2024年諾貝爾物理學獎授予約翰·霍普菲爾德和杰弗里·辛頓的意義，并從統(tǒng)計物理的視角，以伊辛模型為起點，逐步闡述了他們的主要貢獻，包括Hopfield模型、玻爾茲曼機、非監(jiān)督學習以及現(xiàn)代生成模型。

1. 諾貝爾獎與生成學習

2024年諾貝爾物理學獎頒發(fā)給霍普菲爾德和辛頓，表彰他們在人工神經(jīng)網(wǎng)絡機器學習領域的奠基性發(fā)現(xiàn)和發(fā)明。頒獎詞中特別提到了Hopfield網(wǎng)絡和玻爾茲曼機，這兩個模型被視為生成學習的開端。生成學習的目標是從無標簽數(shù)據(jù)中學習數(shù)據(jù)變量的聯(lián)合概率分布，并從中采樣生成新的樣本。這與物理學中“What I cannot create，I do not understand”的理念相契合。

2. 統(tǒng)計物理與機器學習的早期互動

統(tǒng)計物理學長期研究高維概率分布，例如玻爾茲曼分布，這與機器學習中生成模型面臨的挑戰(zhàn)十分相似。黑白圖片可映射為伊辛模型構(gòu)型，多值數(shù)據(jù)可映射為Potts構(gòu)型，這使得早期生成學習受到統(tǒng)計物理的啟發(fā)。

3. Hopfield模型與玻爾茲曼機

Hopfield模型是鐵磁伊辛模型的推廣，其耦合參數(shù)由數(shù)據(jù)關聯(lián)得到。在數(shù)據(jù)量較少時，存儲的數(shù)據(jù)成為動力學的吸引子。但當數(shù)據(jù)量過多時，系統(tǒng)會進入自旋玻璃態(tài)，無法記住任何數(shù)據(jù)。玻爾茲曼機通過引入隱變量，增加了模型參數(shù)和表達能力，但梯度計算仍然困難。受限玻爾茲曼機(RBM)通過去除顯變量和隱變量之間的連接，簡化了采樣過程，并通過對比散度算法進行學習。

4. 深度學的到來與玻爾茲曼機的局限

深度玻爾茲曼機和自編碼器在2006年被提出，但玻爾茲曼機的發(fā)展很快遇到了瓶頸，主要原因在于配分函數(shù)計算的困難和高效采樣的難題。2012年AlexNet的成功標志著深度學的到來，現(xiàn)代生成模型（如自回歸模型、流模型、擴散模型）通過不同的方法解決了玻爾茲曼機的難題，從而在圖像、視頻和音樂生成等領域取得了顯著成果。

5. 物理與機器學習的未來

統(tǒng)計物理學在深度學習早期發(fā)展中發(fā)揮了重要作用，但并未在深度學占據(jù)主導地位。未來，機器學習與先進經(jīng)典計算能力的結(jié)合，以及對玻恩法則的深入研究，可能會推動生成模型的進一步發(fā)展，并解決物理學領域中的重要問題，例如量子多體問題和材料計算等。

總而言之，2024年諾貝爾物理學獎表彰了統(tǒng)計物理與機器學習的早期互動，也揭示了物理學和機器學習在未來發(fā)展中互相促進、共同進步的趨勢。

聯(lián)系作者

文章來源：人工智能學家
作者微信：
作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構(gòu)