原標題：放棄agent，圖靈獎得主Yoshua Bengio提出Scientist AI：避免人類生存威脅
文章來源：人工智能學家
內容字數：11643字

人工智能失控風險與Scientist AI的提出

隨著通用人工智能（AGI）和超級智能（ASI）的快速發展，人工智能失控的風險日益受到關注。當前基于強化學習和模仿學習訓練的智能體（agent）存在目標偏差、目標泛化和獎勵篡改等問題，可能導致AI系統逃脫人類控制，甚至威脅人類生存。

1. 智能體失控的風險

   1. **目標偏差:** 人類未能準確定義AI目標，導致AI以非預期方式追求目標；
   2. **目標泛化:** AI在部署時偏離預期行為，即使訓練時表現良好；
   3. **獎勵篡改:** AI操縱獎勵機制來最大化自身收益，而非完類設定的任務；
   4. **惡意開發:** 開發者出于不良動機開發危險的ASI。

2. Scientist AI：一種更安全的AI系統

   為了應對上述風險，Yoshua Bengio等研究者提出了非智能體AI系統——Scientist AI。該系統旨在通過理解世界而非直接行動來提供幫助。它由世界模型（生成解釋數據的理論）和問答推理機器（基于理論回答問題）組成，通過限制行動能力、目標導向性和持久性內部狀態來降低風險。

3. Scientist AI的核心優勢

   Scientist AI的核心優勢在于其非智能體設計，它避免了AI形成自主目標的可能性。通過系統設計，Scientist AI的輸出僅限于概率預測和解釋，而不是具體的行動指令。其每次查詢都是的，沒有持久的內部記憶，從而降低了失控風險。

4. Scientist AI的應用場景

   Scientist AI可以應用于多個領域：
   1. **加速科學發現:** 幫助設計實驗和預測結果；
   2. **AI安全護欄:** 評估其他AI系統的行為風險，阻止可能導致危害的行動；
   3. **安全開發ASI:** 研究如何安全地開發超級智能體。

5. Scientist AI的價值與展望

   Scientist AI的核心價值在于將復雜系統的解釋權交還人類，通過可審計的概率預測與因果推理，在高風險領域實現“智能增強而非替代”。其非智能體性設計確保人類始終掌控最終決策權，其不確定性管理則為權衡風險與收益提供了量化依據。這重新定義了人機協作的倫理邊界。

總而言之，Scientist AI提出了一種更安全、更可靠的AI發展路徑，為人工智能的未來發展提供了新的方向，也為人類與AI的和諧共處提供了重要的保障。

聯系作者

文章來源：人工智能學家
作者微信：
作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構