新智元報道編輯：alan【新智元導(dǎo)讀】擴(kuò)散模型的本質(zhì)竟是進(jìn)化算法！生物學(xué)大佬從數(shù)學(xué)的角度證實(shí)了這個結(jié)論，并結(jié)合擴(kuò)散模型創(chuàng)建了全新的進(jìn)化算法。擴(kuò)散模型居然就是生物的進(jìn)化算法！這個結(jié)論來自「新常春藤」塔夫茨大學(xué)（Tufts University）于近日發(fā)表的一項(xiàng)研究：論文地址：https://arxiv.org/pdf/2410.02543論文的壓軸大佬是美國發(fā)育和合成生物學(xué)家Michael Levin，博士畢業(yè)于哈佛大學(xué)，目前擔(dān)任塔夫茨大學(xué)Allen Discovery Center主任。Michael Levin長期從事生物電、人工生命和許多其他生物學(xué)相關(guān)主題的研究，曾在NeurIPS 2018上發(fā)表了題為「What Bodies Think About：Bioelectric Computation Outside the Nervous System」的精彩演講：視頻地址：https://youtu.be/RjD1aLm4Thg在ALife 2020上，Michael Levin還闡述了有關(guān)「機(jī)器人癌癥」的話題：「what the bioelectrics of embryogenesis and regeneration can teach us about unconventional computing， cognition， and the software of life」。這位懂計算機(jī)的生物學(xué)專家是如何理解「擴(kuò)散模型就是進(jìn)化算法」的？答案是數(shù)學(xué)。擴(kuò)散模型的本質(zhì)在生物圈中，至少有兩個過程能夠泛化并創(chuàng)造新事物：進(jìn)化：生物通過自然選擇適應(yīng)環(huán)境的緩慢過程（需要多代）；學(xué)習(xí)：生物個體獲取知識并概括主觀經(jīng)驗(yàn)的快速過程（自己這一代）。研究者不斷探索進(jìn)化與學(xué)習(xí)之間的聯(lián)系，從Hinton的經(jīng)典著作《How Learning Can Guide Evolution》（1987年），到Vanchurin、Wolf、Katsnelson、Koonin的《Toward a theory of evolution as multilevel learning》（2022年），以及Watson和Levin的《The collective intelligence of evolution and development》（2023年）。目前的工作認(rèn)為，在擴(kuò)散模型的框架中，生成模型執(zhí)行順序隨機(jī)去噪，可以通過執(zhí)行自然選擇、突變和生殖隔離的進(jìn)化過程來理解。前向擴(kuò)散過程將圖像作為輸入（也可以是任何其他信號），并逐步按順序添加噪聲，直到它變成一坨完完全全的噪聲。與之相對，擴(kuò)散模型的反向是一個去噪的過程，以噪聲作為輸入并依次去除，最終發(fā)掘出隱藏在噪聲背后的圖像。原始擴(kuò)散模型：https://arxiv.org/abs/2006.11239想象一個復(fù)雜的任務(wù)（例如，找到飛機(jī)機(jī)翼的最佳形狀），我們可以先創(chuàng)建一組隨機(jī)解決方案——就像自然界中的生物種群。然后根據(jù)特定標(biāo)準(zhǔn)（比如飛行情況）評估每個解決方案。過程中可以「雜交」不同解決方案的優(yōu)勢（從一個方案中獲取一些參數(shù)，從另一個方案中獲取另一些參數(shù)），偶爾還可以隨機(jī)改變這些方案（的參數(shù)），由此獲得新一版解決方案。將這個過程重復(fù)多次，就像在自然選擇中一樣，通過遺傳和變異，更成功的版本存活下來并繼續(xù)發(fā)展。通常，參數(shù)空間的結(jié)構(gòu)事先是未知的，因此初始總體通常以標(biāo)準(zhǔn)正態(tài)分布開始。這種方法的主要優(yōu)點(diǎn)是它不需要精確理解任務(wù)的工作原理——只需能夠評估解決方案的質(zhì)量就足夠了。擴(kuò)散模型在每個時間步長直接從樣本的噪聲中預(yù)測原始數(shù)據(jù)樣本:樣本x的估計可以表示為條件概率，結(jié)合貝葉斯公式可得：基于深度學(xué)習(xí)的擴(kuò)散模型是使用均方誤差損失進(jìn)行訓(xùn)練的，所以估計函數(shù)變?yōu)椋浩渲械母咚鬼?xiàng)僅對局部鄰居敏感，將上式簡化：由此可知，擴(kuò)散模型和進(jìn)化算法都涉及迭代數(shù)據(jù)更新和從復(fù)雜分布中對新對象進(jìn)行采樣，兩者都是定向更新和隨機(jī)擾動的組合。在進(jìn)化的情況下，是選擇+突變，而在擴(kuò)散的情況下，是隨機(jī)噪聲+學(xué)習(xí)去噪。這就提出了一個問題：這兩個過程的機(jī)制是否從根本上相互關(guān)聯(lián)？生物進(jìn)化和生成建模之間是否存在深刻的數(shù)學(xué)二元性？擴(kuò)散與進(jìn)化首先，作者從生成模型的角度分析了進(jìn)化。觀察生物圈中的物種種群，變異進(jìn)化過程可以理解為基因型和表型分布的轉(zhuǎn)變。突變和選擇共同改變了這些分布的形狀。許多受生物啟發(fā)的進(jìn)化算法都是通過維護(hù)和迭代大量種群的分布，來優(yōu)化目標(biāo)函數(shù)。同樣的概念（分布變換）是許多生成模型的核心：VAE、GAN和擴(kuò)散模型學(xué)習(xí)將簡單的分布（如標(biāo)準(zhǔn)的高斯分布）轉(zhuǎn)換為更復(fù)雜的分布（分布中的樣本代表有意義的圖像、聲音和文本）。另一方面，也可以從進(jìn)化的角度來看待擴(kuò)散。在訓(xùn)練過程中，向數(shù)據(jù)點(diǎn)逐步加入干擾，模型會學(xué)習(xí)預(yù)測這種干擾以逆轉(zhuǎn)該過程。在采樣階段，模型從高斯分布開始，通過降噪逐步更新數(shù)據(jù)點(diǎn)。在這種情況下，定向降噪可以解釋為有向選擇，并且每個步驟都會增加一個類似于突變的小噪聲，與生物的進(jìn)化過程一致。而如果把進(jìn)化過程反過來，那么高度適應(yīng)自然的進(jìn)化種群將逐漸溶解，類似于正向擴(kuò)散過程。考慮統(tǒng)計物理學(xué)中的能量和概率，進(jìn)化任務(wù)可以將適應(yīng)度映射到概率密度，從而來與生成任務(wù)聯(lián)系起來（高適應(yīng)度對應(yīng)于高概率密度）。作者最終從數(shù)學(xué)上推導(dǎo)出了一種稱為Diffusion Evolution的新算法，基于迭代誤差校正來進(jìn)行優(yōu)化，類似于擴(kuò)散模型，但不依賴于神經(jīng)網(wǎng)絡(luò)：1）從一組隨機(jī)解開始（如擴(kuò)散模型中的噪聲）；2）在每個步驟中，每個解決方案都由一個適應(yīng)度函數(shù)評估，對每個解決方案進(jìn)行「去噪」（與相鄰解決方案加權(quán)平均來估計），并向前邁出一小步，同時加入一個小的隨機(jī)突變；3）逐漸減小相鄰搜索半徑（首先全局探索解決方案空間，然后在本地進(jìn)行優(yōu)化）與許多經(jīng)典進(jìn)化算法通常收斂為單個解不同，Diffusion Evolution可以同時發(fā)現(xiàn)并維護(hù)多個表現(xiàn)良好的解。實(shí)驗(yàn)研究人員在多個二維優(yōu)化場景中進(jìn)行了實(shí)驗(yàn)（Rosenbrock和Beale有一個最優(yōu)值，Himmelblau、Ackley和Rastrigin有多個最優(yōu)值），并與其他進(jìn)化算法（CMA-ES、OpenES和PEPG）做出比較。每種方法運(yùn)行進(jìn)化算法100次，每個實(shí)驗(yàn)的群體規(guī)模為512，使用25次迭代（OpenES需要1000步才能收斂）。結(jié)果表明，Diffusion Evolution找到了高質(zhì)量和多樣化的解決方案，尤其是在最后三種情況下，其他方法都遇到了困難，并且往往收斂到單一解決方案。在進(jìn)化算法中，適應(yīng)度評估通常是計算成本最高的操作，作者通過從擴(kuò)散模型的工作中借用余弦調(diào)度來減少迭代次數(shù)。在另一項(xiàng)實(shí)驗(yàn)中，研究人員提出了 Latent Space Diffusion Evolution，靈感來自潛在空間擴(kuò)散模型 （通過探索低維潛在空間來解決高維參數(shù)空間的問題）。學(xué)習(xí)和進(jìn)化，本質(zhì)上是在做同樣的事情，順著這條路，我們可以繼續(xù)思考：模型推理是有限的，而真正的進(jìn)化可能是無限且開放式的，如何使Diffusion Evolution適應(yīng)開放式環(huán)境？其他版本的擴(kuò)散模型會衍生出新的進(jìn)化算法嗎？擴(kuò)散模型中的歸納偏差可以被引入進(jìn)化算法嗎？擴(kuò)散模型可以通過進(jìn)化的思想來改進(jìn)嗎？參考資料：https://gonzoml.substack.com/p/diffusion-models-are-evolutionaryhttps://arxiv.org/pdf/2410.02543