AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：Pika聯(lián)創(chuàng)參與新研究：Diffusion能搶GPT的活了！成功挑戰(zhàn)自回歸文本范式
關(guān)鍵字：模型,文本,分?jǐn)?shù),梯度,作者
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：4252字

內(nèi)容摘要：

豐色 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI縱觀生成式AI領(lǐng)域中的兩個(gè)主導(dǎo)者：自回歸和擴(kuò)散模型。
一個(gè)專攻文本等離散數(shù)據(jù)，一個(gè)長(zhǎng)于圖像等連續(xù)數(shù)據(jù)。
如果，我們讓后者來(lái)挑戰(zhàn)前者的主場(chǎng)，它能行嗎？
斯坦福博士的最新研究，就搞了這么一個(gè)擴(kuò)散模型VS自回歸模的同臺(tái)PK。
結(jié)果：
挑戰(zhàn)成功！（下面為生成示意圖，最后得到的文本是“Hello world，Iam a languagediffusionmodel，namedSEDD”）
并且他們的擴(kuò)散模型在困惑度和質(zhì)量上已率先超越自回歸的GPT-2。
趕緊來(lái)瞧瞧。
擴(kuò)散模型挑戰(zhàn)離散數(shù)據(jù)用自回歸來(lái)處理離散文本數(shù)據(jù)，即根據(jù)之前的token來(lái)預(yù)測(cè)下一個(gè)token，這可能是目前我們能想象到的最簡(jiǎn)單可行的方法。
為什么這么說(shuō)？
作者在這里用GAN舉了個(gè)例子：
對(duì)于圖像生成，GAN首先根據(jù)隨機(jī)噪聲生成圖像，然后使用判別器來(lái)“懲罰”偏差，因此梯度信息可以反向傳播到生成器。
但如果我們假設(shè)用GAN來(lái)生成文本，就行不通了。
因?yàn)楸M管我們可以定義同樣原理的生成器和判別器，但文本的離散性質(zhì)使得更新生成器非常難。
（圖像是連續(xù)的，因此可以通過(guò)反向傳播來(lái)計(jì)算梯度，但文本

原文鏈接：Pika聯(lián)創(chuàng)參與新研究：Diffusion能搶GPT的活了！成功挑戰(zhàn)自回歸文本范式

聯(lián)系作者

文章來(lái)源：量子位
作者微信：QbitAI
作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破