沒有指數(shù)級數(shù)據(jù)就沒有Zero-shot！生成式AI或已到達頂峰

AIGC動態(tài)歡迎閱讀

原標題：沒有指數(shù)級數(shù)據(jù)就沒有Zero-shot！生成式AI或已到達頂峰
關鍵字：模型,數(shù)據(jù),樣本,概念,人工智能
文章來源：新智元
內(nèi)容字數(shù)：7015字

內(nèi)容摘要：

新智元報道編輯：alan
【新智元導讀】近日，又一驚人結(jié)論登上Hacker News熱榜：沒有指數(shù)級數(shù)據(jù)，就沒有Zero-shot！多模態(tài)模型被扒實際上沒有什么泛化能力，生成式AI的未來面臨嚴峻挑戰(zhàn)。生成式人工智能已經(jīng)觸及峰頂了嗎？
在大模型正火的時候提這個問題，似乎不合時宜。
畢竟，隨著數(shù)據(jù)和模型規(guī)模的增大、計算能力的增加，我們似乎不再懷疑擁有超強人工智能的未來。
——但是！來自University of Tübingen、劍橋和牛津大學的最新研究，用實驗告訴我們：沒有指數(shù)級數(shù)據(jù)，就沒有Zero-shot！
論文地址：https://arxiv.org/pdf/2404.04125
換句話說，模型要想達到AGI水平，所需的訓練數(shù)據(jù)量是我們無法提供的。
根據(jù)實驗數(shù)據(jù)，模型未來的性能提升將越來越緩慢，最終會因為拿不到指數(shù)級的數(shù)據(jù)而觸及瓶頸。
——所以，你以為大模型真的實現(xiàn)了zero-shot，真的在吸收和記憶的基礎上，涌現(xiàn)了推理甚至創(chuàng)新，實際上都是人家見過千萬次，早已倒背如流的答案。
你以為是素質(zhì)教育出英才，其實人家走的是題海戰(zhàn)術、應試教育路線。
Youtube上239萬訂閱的Comp

原文鏈接：沒有指數(shù)級數(shù)據(jù)就沒有Zero-shot！生成式AI或已到達頂峰