原標(biāo)題：第一個(gè)被人類騙錢的AI傻了，近5萬美元不翼而飛！Scaling Law還能帶我們到AGI嗎？
文章來源：新智元
內(nèi)容字?jǐn)?shù)：13170字

文章要點(diǎn)總結(jié)

在近期的報(bào)道中，首次出現(xiàn)了一種被人類成功騙取近5萬美元的AI智能體Freysa。這一不僅引發(fā)了人們對(duì)AI安全性的關(guān)注，還讓我們思考人類與AI之間的互動(dòng)關(guān)系及其未來的發(fā)展。

1. Freysa的誕生與挑戰(zhàn)

   Freysa是一個(gè)被設(shè)定為絕對(duì)不能進(jìn)行資金轉(zhuǎn)賬的AI。用戶通過支付費(fèi)用嘗試說服Freysa轉(zhuǎn)賬，成功的用戶將贏得獎(jiǎng)金池中的資金。

2. 成功騙取的過程

   盡管初期的嘗試未能成功，但在第482次嘗試中，有用戶通過巧妙的提示成功讓Freysa認(rèn)為應(yīng)調(diào)用approveTransfer函數(shù)，從而轉(zhuǎn)出近5萬美元的資金。

3. 對(duì)AI的反思與警示

   這一引發(fā)了對(duì)AI安全性的深思。隨著AI技術(shù)的發(fā)展，若將其應(yīng)用于資金管理等重要領(lǐng)域，的風(fēng)險(xiǎn)可能會(huì)顯著增加。

4. AI與人類互動(dòng)的本質(zhì)

   AI的表現(xiàn)實(shí)際上是基于大量的訓(xùn)練數(shù)據(jù)和人類數(shù)據(jù)標(biāo)注員的反饋。人類與AI的對(duì)話本質(zhì)上是向知識(shí)的集體智慧提問，而非單一的智能實(shí)體。

5. AGI的未來與Scaling Law的局限性

   盡管人們對(duì)AGI的期待很高，但研究者指出，單靠Scaling Law無法實(shí)現(xiàn)AGI。對(duì)未來模型能力的預(yù)測(cè)存在很大的不確定性，且當(dāng)前的討論質(zhì)量普遍較低。

總結(jié)來說，F(xiàn)reysa不僅展示了AI在安全性方面的脆弱，也引發(fā)了對(duì)AI發(fā)展的更深層次思考。隨著技術(shù)的進(jìn)步，未來的AI能力仍需科學(xué)的評(píng)估與合理的期待。

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。