原標題：百位專家聯名警告：AI或將體驗痛苦！Hinton、Bengio掀AI意識大論戰
文章來源：新智元
內容字數：6109字

AI意識的倫理困境：百位專家呼吁負責任研究

近日，來自倫敦大學、耶魯大學等世界頂尖學府的百余位專家聯名發表公開信，呼吁對人工智能（AI）意識進行負責任的研究。這封公開信及配套論文的核心觀點是：如果AI系統發展出意識，它們可能會遭受痛苦，因此需要提前制定相應的倫理規范和安全措施。

1. AI意識的風險與挑戰

   公開信指出，如果AI系統擁有情感或自我意識，它們可能會受到傷害，甚至遭受“和痛苦”。因此，專家們提出了五項原則，旨在引導AI意識的研究和開發，防止AI遭受苦難，并最大限度地降低風險。

2. 五項原則：引導負責任的AI意識研究

   這五項原則分別關注：1. 優先開展對AI意識的理解和評估研究，防止對有意識AI的；2. 準確理解不同AI系統具備意識可能帶來的益處和風險；3. 逐步推進有意識AI系統的研發，實施嚴格的風險防控和安全保障機制；4. 制定透明的知識共享協議，防止有害技術的濫用；5. 避免對自身能力做出過于自信或誤導性的聲明，并重視AI意識表述對公眾認知的影響。

3. AI意識的哲學思考：道德受體與倫理困境

   配套論文進一步探討了AI意識的哲學層面，例如：如果AI被定義為“道德受體”，我們該如何對待它？銷毀它是否等同于動物？論文還討論了如何判斷AI的痛苦程度，以及如何平衡AI的福祉與人類利益等倫理困境。 論文中提到，如果AI具有感知能力，特別是能夠進行評價性思考，那么它很可能就具備了意識，并因此成為道德受體，需要我們給予相應的倫理考量。

4. 專家觀點分歧：意識與目標

   文章也提及了Geoffrey Hinton和Yoshua Bengio兩位人工智能領域泰斗對AI意識的觀點差異。Hinton認為AI已經發展出意識，未來可能掌控世界；而Bengio則認為AI是否擁有意識并不重要，更關鍵的是AI的目標、規劃能力以及潛在的危害性。 Bengio的觀點得到了許多網友的認同，他們認為目前更緊迫的問題是如何控制那些可能具有自主進化能力的強大AI系統。

5. 未來展望：謹慎發展，重視倫理

   文章總結指出，無論AI是否已經或將來會擁有意識，都需要謹慎發展AI技術，并重視其倫理和社會影響。 需要制定有效的監管措施，防止AI技術被濫用，并確保AI的發展能夠造福人類，而不是帶來災難性的后果。 對于AI意識的討論，不僅僅是科學問題，更是關乎人類未來福祉的重大倫理問題。

聯系作者

文章來源：新智元
作者微信：
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。