甲對話田淵棟：Scaling law代表一個非常悲觀的未來｜甲子光年

AIGC動態(tài)歡迎閱讀

原標題：甲對話田淵棟：Scaling law代表一個非常悲觀的未來｜甲子光年
關(guān)鍵字：模型,報告,,數(shù)據(jù),人類
文章來源：甲子光年
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

Scaling law也許是對的，但不會是全部，因為scaling law本身代表一個非常悲觀的未來——scaling law的本質(zhì)是，用指數(shù)級的數(shù)據(jù)增長，來獲得幾個點的收益。最終人類世界可能會有很多長尾需求，需要人類的快速反應能力去解決，這些場景的數(shù)據(jù)本身也很少，LLM做不到。Scaling law發(fā)展到最后，可能每個人都站在一個數(shù)據(jù)孤島上。作者｜甲 劉楊楠
對于研究者而言，預設(shè)一個判斷、押注正確的方向，往往會決定學術(shù)成就的高遠。當一切尚未驗證時，多少需要樸素的直覺來支撐，而樸素直覺的背后，往往是一些關(guān)于是與非、能與否的底層信仰。
在人工智能領(lǐng)域，底層信仰的作用在被放大。比如，此刻人工智能有一些根本性的研究底色：Scaling law是否是唯一至上的綱？
大模型的scaling law最早由OpenAI在2020年的一篇論文中提出，其內(nèi)涵是，大模型的最終性能主要與計算量、模型參數(shù)量和訓練數(shù)據(jù)量三者的大小相關(guān)，而與模型的具體結(jié)構(gòu)（層數(shù)/深度/寬度）基本無關(guān)。
放眼全球，很多人都將scaling law奉為圭臬，但聚光燈外也不乏一些質(zhì)疑scaling law的“少數(shù)派”。田淵棟就是其

原文鏈接：甲對話田淵棟：Scaling law代表一個非常悲觀的未來｜甲子光年

聯(lián)系作者

文章來源：甲子光年
作者微信：jazzyear
作者簡介：甲子光年是一家科技智庫，包含智庫、社群、企業(yè)服務版塊，立足中國科技創(chuàng)新前沿陣地，動態(tài)跟蹤頭部科技企業(yè)發(fā)展和傳統(tǒng)產(chǎn)業(yè)技術(shù)升級案例，推動人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、云計算、新能源、新材料、信息安全、大健康等科技創(chuàng)新在產(chǎn)業(yè)中的應用與落地。