原標(biāo)題：放棄agent，圖靈獎(jiǎng)得主Yoshua Bengio提出Scientist AI：避免人類(lèi)生存威脅
文章來(lái)源：人工智能學(xué)家
內(nèi)容字?jǐn)?shù)：11643字

人工智能失控風(fēng)險(xiǎn)與Scientist AI的提出

隨著通用人工智能（AGI）和超級(jí)智能（ASI）的快速發(fā)展，人工智能失控的風(fēng)險(xiǎn)日益受到關(guān)注。當(dāng)前基于強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)訓(xùn)練的智能體（agent）存在目標(biāo)偏差、目標(biāo)泛化和獎(jiǎng)勵(lì)篡改等問(wèn)題，可能導(dǎo)致AI系統(tǒng)逃脫人類(lèi)控制，甚至威脅人類(lèi)生存。

1. 智能體失控的風(fēng)險(xiǎn)

   1. **目標(biāo)偏差:** 人類(lèi)未能準(zhǔn)確定義AI目標(biāo)，導(dǎo)致AI以非預(yù)期方式追求目標(biāo)；
   2. **目標(biāo)泛化:** AI在部署時(shí)偏離預(yù)期行為，即使訓(xùn)練時(shí)表現(xiàn)良好；
   3. **獎(jiǎng)勵(lì)篡改:** AI操縱獎(jiǎng)勵(lì)機(jī)制來(lái)最大化自身收益，而非完類(lèi)設(shè)定的任務(wù)；
   4. **惡意開(kāi)發(fā):** 開(kāi)發(fā)者出于不良動(dòng)機(jī)開(kāi)發(fā)危險(xiǎn)的ASI。

2. Scientist AI：一種更安全的AI系統(tǒng)

   為了應(yīng)對(duì)上述風(fēng)險(xiǎn)，Yoshua Bengio等研究者提出了非智能體AI系統(tǒng)——Scientist AI。該系統(tǒng)旨在通過(guò)理解世界而非直接行動(dòng)來(lái)提供幫助。它由世界模型（生成解釋數(shù)據(jù)的理論）和問(wèn)答推理機(jī)器（基于理論回答問(wèn)題）組成，通過(guò)限制行動(dòng)能力、目標(biāo)導(dǎo)向性和持久性內(nèi)部狀態(tài)來(lái)降低風(fēng)險(xiǎn)。

3. Scientist AI的核心優(yōu)勢(shì)

   Scientist AI的核心優(yōu)勢(shì)在于其非智能體設(shè)計(jì)，它避免了AI形成自主目標(biāo)的可能性。通過(guò)系統(tǒng)設(shè)計(jì)，Scientist AI的輸出僅限于概率預(yù)測(cè)和解釋?zhuān)皇蔷唧w的行動(dòng)指令。其每次查詢都是的，沒(méi)有持久的內(nèi)部記憶，從而降低了失控風(fēng)險(xiǎn)。

4. Scientist AI的應(yīng)用場(chǎng)景

   Scientist AI可以應(yīng)用于多個(gè)領(lǐng)域：
   1. **加速科學(xué)發(fā)現(xiàn):** 幫助設(shè)計(jì)實(shí)驗(yàn)和預(yù)測(cè)結(jié)果；
   2. **AI安全護(hù)欄:** 評(píng)估其他AI系統(tǒng)的行為風(fēng)險(xiǎn)，阻止可能導(dǎo)致危害的行動(dòng)；
   3. **安全開(kāi)發(fā)ASI:** 研究如何安全地開(kāi)發(fā)超級(jí)智能體。

5. Scientist AI的價(jià)值與展望

   Scientist AI的核心價(jià)值在于將復(fù)雜系統(tǒng)的解釋權(quán)交還人類(lèi)，通過(guò)可審計(jì)的概率預(yù)測(cè)與因果推理，在高風(fēng)險(xiǎn)領(lǐng)域?qū)崿F(xiàn)“智能增強(qiáng)而非替代”。其非智能體性設(shè)計(jì)確保人類(lèi)始終掌控最終決策權(quán)，其不確定性管理則為權(quán)衡風(fēng)險(xiǎn)與收益提供了量化依據(jù)。這重新定義了人機(jī)協(xié)作的倫理邊界。

總而言之，Scientist AI提出了一種更安全、更可靠的AI發(fā)展路徑，為人工智能的未來(lái)發(fā)展提供了新的方向，也為人類(lèi)與AI的和諧共處提供了重要的保障。

聯(lián)系作者

文章來(lái)源：人工智能學(xué)家
作者微信：
作者簡(jiǎn)介：致力成為權(quán)威的人工智能科技媒體和前沿科技研究機(jī)構(gòu)