預訓練將結束？AI的下一步發展有何論調？Scaling Law 撞墻與否還重要嗎？

機器之心PRO · 會員通訊 Week 50—- 本周為您解讀 ③個值得細品的AI & Robotics業內要事 —-1. 預訓練將結束？AI的下一步發展有何論調？Scaling Law 撞墻與否還重要嗎？預訓練數據還能繼續 Scale 多少? AI的下一步發展有哪些論調？哪些工作在推理階段給 LLM 打補丁？哪些工作在用更高維度的數據做 WM？哪些探索方向不受「撞墻爭議」的影響？能力密度又帶來了什么新視角？…2. 世界模型才是智駕唯一解？造車新勢力們對于自動駕駛世界模型的探索路線有何異同？為什么說世界模型是通往 L4 級別的關鍵？與端到端大模型相比，區別是什么？解決什么難題？在實際落地應用中，世界模型在智駕系統中的哪些部分起具體作用？有哪些車企在方案中引入了世界模型？思路有何異同？…3. 麥肯錫報告預測未來可能重塑全球經濟的 18 個領域麥肯錫的最新報告傳遞了哪些重要信息？重塑全球經濟的 18 個領域有哪些？人工智能技術的飛速發展對于哪些行業的發展起到了關鍵作用？……本期完整版通訊含 3 項專題解讀 + 27 項本周 AI & Robotics 賽道要事速遞，其中技術方面 8項，國內方面 5 項，國外方面 14 項。本期通訊總計 25018 字，可免費試讀至 9%消耗99微信豆即可兌換完整本期解讀（約合人民幣9.9元）要事解讀① 預訓練將結束？AI 的下一步發展有哪些論調？Scaling Law 撞墻與否還重要嗎？引言：本周五，Ilya Sutskever在NeurIPS炸裂宣判：「預訓練將結束，數據壓榨到頭了」。關于 Scaling Law 是否撞墻的爭議在近期持續發生，不時有人給出 Scaling Law 將會撞墻的佐證，也有許多工作證明了 Scaling Law 的潛力尚未被充分挖掘，這一爭議帶來的是業界對 AI 下一步發展路線的眾說紛紜。「撞墻」爭議下，AI 的下一步發展有哪些論調？Scaling Law 在 2024 年里又一次性感，一度被視為實現 AGI 的「」。也是因此，當有關 Scaling Law 撞墻的消息傳出后引發了大量消極的論調。回顧 2022 年，深度學習領域也曾面臨類似的“撞墻”質疑，但事實證明，這些擔憂并未成為現實。語言模型的 Scaling Law 允許研究者預測模型性能隨參數、數據和計算資源變化的趨勢。盡管其在推動 AI 發展中扮演了重要角色，但構建更強大的 AI 系統并非只有一條路徑。1、2024 年里，AI 領域中有關 Scaling Law 是否到頭的爭議反復引起討論。其話題沖突的核心在于，大模型的性能提升是否還能繼續靠無限堆疊數據和參數規模從而大力出奇跡。① 6 月，Gary Marcus 的「Is scaling all you need？」就 Scaling Law 收益遞減的話題引發了大量討論。Marcus 認為僅靠 Scaling 已經無法帶來顯著的性能提升，同期有聲音認為 LLM 領域已經進入回報遞減的時期，未來的發展需要新的方法和思路。（詳見 Pro 會員通訊 2024 年 Week 36 期）② 11 月，The Information 的報道《隨著 GPT 提升減速，OpenAI 改變策略》，以及許多大型基礎實驗室聲稱均遇到預訓練的瓶頸的聲音又一次將 Scaling Law 撞墻的爭議變成熱議話題。2、認為 Scaling Law 撞墻的佐證不斷翻新，而反駁的觀點也隨著話題的熱度不斷涌現。以 OpenAI CEO Sam Altman 為代表的反駁觀點認為，Scaling Law 的潛力尚未窮盡，而 OpenAI 的 o 系列和 GPT 系列均是 Scaling 仍然有效的范例。[10]3、SSI 創始人、前 OpenAI 首席科學家 Ilya Sutskever 曾在訪談中表達「Scaling the right thing matters more now than ever。」近期在NeurIPS 2024 的演講中，他進一步補充了「現有的預訓練方法將會結束」的觀點。[18]① Sutskever 在演講強調了數據枯竭的擔憂，我們只有一個互聯網，盡管現有數據仍能推動人工智能的發展，但可用的新數據已經耗盡，需要尋找新的方法來進一步提升AI的能力。② 由于數據資源的有限性，Sutskever 認為這一趨勢最終將迫使行業改變當前的模型訓練方式。他預測下一代模型將會“以真正的方式表現出自主性”，并且具備推理能力。③ Sutskever 提出，AI可能會超越現有的預訓練方法，發現全新的擴展路徑。這可能涉及到新的學習算法、更高效的數據處理技術，或者是能夠從更少的數據中提取更多信息的方法。4、LLM 的 Scaling Law 揭示了性能與其參數和數據規模之間的關系，但并非唯一視角。在 Scaling Law 撞墻與否的爭議之外，仍有許多工作從不同的方向探求解鎖下一代 AI 的路徑。5、對于評估不同規模 LLM 訓練質量的方法上，清華大學劉知遠教授團隊近期提出了 Densing Law（密度定律），從 Scaling Law 之外的維度對 LLM 能力進行推演，提供指導性的規律發現。[11]① 該工作針對近幾年 LLM 工作中看似矛盾的「為了有效性而擴展 LLMs 的規模，為了效率而縮小 LLMs 的規模」路徑，提出了 Capability Density（能力密度）度量指標，用于量化評估不同規模 LLMs 的質量。② Capability Density 被定義為 LLM「有效參數量」于實際參數量的比值。「有效參數量」指參考模型達到與目標模型相當性能所需的最小參數數量。③ 該工作用 Capability Density 評估了 29 個頭部開源 LLM，并基于分析結果提出了 Density Law，即，LLM 的最大密度隨時間呈指數增長，大約每 3.3 個月（約 100 天）翻一倍。④ 結合 Densing Law 與摩爾定律，研究者指出，伴隨 LLMs 密度+芯片計算能力各自隨時間的增長，兩者的交匯意味著主流終端如 PC、手機將能運行更高能力密度的模型，推動端側智能在消費市場普及。⑤ 結合 Densing Law 與 Scaling Law，研究者指出每個新模型的高性價比「有效期」不斷縮短。開發者必須考慮模型密度的增長趨勢，并采用更有效和通用的訓練技術來提高模型密度。6、從「Scaling What」更重要的視角出發，近期的許多工作探索新的 Scaling 目標。① 以 OpenAI o1 模型的發布為契機，有一種說法認為 Scaling 的范式正在從預訓練轉移到推理階段，其相關工作涉及「測試時計算（Test-Time Compute）」和「測試時訓練（Test-Time Training）」等。② 也有工作嘗試從預訓練數據入手，如哈佛等高校研究者嘗試設計的「精度感知」的 Scaling Law，以及 UCL 和 Cohere 對預訓練數據中「程序性知識」的研究。③ 還有一類工作嘗試用更高維度的數據和知識入手，如空間智能、世界模型和具身智能領域的相關工作。預訓練數據仍會是「The Right Thing to Scale」嗎？