辛頓與李飛飛對(duì)談：AI是否具備語(yǔ)言理解和推理能力？

AIGC動(dòng)態(tài)8個(gè)月前發(fā)布人工智能學(xué)家

原標(biāo)題：辛頓與李飛飛對(duì)談：AI是否具備語(yǔ)言理解和推理能力？
文章來(lái)源：人工智能學(xué)家
內(nèi)容字?jǐn)?shù)：21852字

AI巨擘辛頓與李飛飛：基礎(chǔ)模型、語(yǔ)言理解與邏輯推理

本文節(jié)選自杰弗里·辛頓與李飛飛2023年10月在多倫多大學(xué)的對(duì)話，探討了人工智能基礎(chǔ)模型的特征、語(yǔ)言理解和邏輯推理能力。兩位AI領(lǐng)域的權(quán)威專家就ChatGPT的理解能力和思維能力進(jìn)行了深入交流，觀點(diǎn)存在差異，但都提供了對(duì)AI技術(shù)現(xiàn)狀和未來(lái)趨勢(shì)的深刻見(jiàn)解。

1. 基礎(chǔ)模型的兩個(gè)關(guān)鍵特征

1. **海量數(shù)據(jù)預(yù)訓(xùn)練:** 基礎(chǔ)模型，例如GPT，需要利用海量數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，這與人類(lèi)高效的學(xué)習(xí)能力形成對(duì)比。辛頓教授指出，早期認(rèn)知科學(xué)認(rèn)為神經(jīng)網(wǎng)絡(luò)需要極大量數(shù)據(jù)才能完成復(fù)雜任務(wù)，但現(xiàn)在這種觀點(diǎn)已不再流行。通過(guò)少樣本學(xué)習(xí)（few-shot learning）的實(shí)驗(yàn)，基礎(chǔ)模型在學(xué)習(xí)新任務(wù)所需數(shù)據(jù)量方面甚至超越了人類(lèi)。

2. **多任務(wù)泛化能力:** 李飛飛教授強(qiáng)調(diào)了基礎(chǔ)模型最重要的特征是其對(duì)多種任務(wù)的泛化能力。一個(gè)基礎(chǔ)模型可以勝任翻譯、對(duì)話、總結(jié)等多種任務(wù)，甚至擴(kuò)展到視覺(jué)、機(jī)器人和視頻等多模態(tài)領(lǐng)域。

2. ChatGPT的語(yǔ)言理解能力

1. **理解笑話的能力:** 辛頓教授認(rèn)為，像PaLM這樣的模型能夠解釋笑話為什么好笑，這表明它們已經(jīng)具備了一定的理解能力。雖然在講笑話方面仍有不足，但模型在理解方面已經(jīng)取得了顯著進(jìn)展。

2. **數(shù)據(jù)的力量:** 辛頓教授指出，大型語(yǔ)言模型之所以強(qiáng)大，是因?yàn)樗鼈兡軌蚶帽热魏稳硕级嗲f(wàn)倍的數(shù)據(jù)進(jìn)行訓(xùn)練。通過(guò)復(fù)制模型并讓它們分別處理數(shù)據(jù)子集，再共享梯度，模型能夠高效地學(xué)習(xí)和共享信息，這遠(yuǎn)超人類(lèi)的知識(shí)共享效率。

3. **知識(shí)蒸餾:** 人類(lèi)通過(guò)模仿來(lái)學(xué)習(xí)，大型語(yǔ)言模型也通過(guò)知識(shí)蒸餾（knowledge distillation）來(lái)學(xué)習(xí)和共享知識(shí)。然而，神經(jīng)網(wǎng)絡(luò)的知識(shí)共享效率遠(yuǎn)高于人類(lèi)，因?yàn)樗鼈兡軌蚬蚕砗Ａ繑?shù)據(jù)。

3. ChatGPT的邏輯推理能力

1. **挑戰(zhàn)性問(wèn)題:** 辛頓教授通過(guò)一個(gè)關(guān)于房間顏色和油漆褪色的例子，以及一個(gè)關(guān)于兄弟姐妹數(shù)量的例子，說(shuō)明了ChatGPT具備一定的邏輯推理能力。這些例子顯示，ChatGPT能夠理解問(wèn)題的措辭，并進(jìn)行相應(yīng)的邏輯推演，而不僅僅是簡(jiǎn)單的詞語(yǔ)預(yù)測(cè)。

2. **超越語(yǔ)言的智能:** 辛頓教授認(rèn)為，ChatGPT的理解能力已經(jīng)超越了語(yǔ)言的界限，進(jìn)入了智能的范疇。他認(rèn)為圖靈測(cè)試可以用來(lái)評(píng)估智能，而ChatGPT在某些方面已經(jīng)通過(guò)了圖靈測(cè)試。

3. **不同觀點(diǎn):** 李飛飛教授對(duì)ChatGPT是否達(dá)到智能范疇持保留意見(jiàn)，但她并未直接反駁辛頓教授的觀點(diǎn)。這反映了學(xué)界對(duì)人工智能理解和思維能力的持續(xù)爭(zhēng)論。

總而言之，辛頓和李飛飛的對(duì)話為理解人工智能基礎(chǔ)模型提供了寶貴的視角。雖然關(guān)于ChatGPT的理解和思維能力仍存在爭(zhēng)議，但兩位專家都認(rèn)可了基礎(chǔ)模型在海量數(shù)據(jù)和多任務(wù)泛化能力方面的顯著優(yōu)勢(shì)，并對(duì)AI技術(shù)的未來(lái)發(fā)展方向給出了重要的啟示。