Scaling Law的盡頭是什么？｜甲子引力X

AIGC動態歡迎閱讀

原標題：Scaling Law的盡頭是什么？｜甲子引力X
關鍵字：模型,數據,問題,架構,效果
文章來源：甲子光年
內容字數：24494字

內容摘要：

大模型的“摩爾定律”。2024年5月15日，由中國科技產業智庫「甲子光年」主辦、中關村東升科學城協辦的「AI創生時代——2024甲子引力X科技產業新風向」大會在北京舉辦。
在當日下午舉行的“AI技術范式的變革：Scaling Law的盡頭是什么”圓桌環節，百度集團副總裁侯震宇、中國人民大學高瓴人工智能學院教授盧志武、清智資本創始合伙人張煜、新浪微博新技術研發負責人張俊林、RWKV元始智能COO羅璇與甲子光年高級分析師王藝一起探討了Scaling Law的發展趨勢。
Scaling Law是大模型的“摩爾定律”，它指引了大模型按照大算力、大參數、大數據的方向前行。但對于Scaling Law的發展前景，業內看法不一。
侯震宇堅定地支持Scaling Law，并認為至少在當前，Scaling Law仍然有效且潛力巨大。他還提到了摩爾定律和安迪-比爾定律，認為Scaling Law在AI領域也呈現出類似的效應，即算力的增長被算法和數據的需求所消耗。
盧志武表示有條件地支持Scaling Law，認為它在實現AGI方面可能不夠充分。他提出可能需要更好的模型架構，并指出Transformer模型

原文鏈接：Scaling Law的盡頭是什么？｜甲子引力X

聯系作者

文章來源：甲子光年
作者微信：jazzyear
作者簡介：甲子光年是一家科技智庫，包含智庫、社群、企業服務版塊，立足中國科技創新前沿陣地，動態跟蹤頭部科技企業發展和傳統產業技術升級案例，推動人工智能、大數據、物聯網、云計算、新能源、新材料、信息安全、大健康等科技創新在產業中的應用與落地。