清華大學(xué)發(fā)現(xiàn)新的大模型定律，LLM的能力密度每 3.3 個(gè)月翻一番

清華大學(xué)孫茂松老師、劉知遠(yuǎn)老師研究組，最近發(fā)表了一篇論文，提出了一個(gè)新的大模型定律——叫密度定律（Densing Law）：模型的能力密度隨時(shí)間呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，LLMs 的能力密度大約每 3.3 個(gè)月翻一番。按照這個(gè)速度推測(cè)，到 25 年底，就能擁有僅 8B 參數(shù)的 GPT-4 級(jí)別的模型。知道 Scaling Law，但這個(gè) Densing Laws 又是干什么的呢？我們都知道，Scaling Law 并非是什么科學(xué)定律，就是長(zhǎng)期實(shí)踐的經(jīng)驗(yàn)法則，給大模型的演進(jìn)提供了方向。但是隨著 GPT-5 遲遲沒(méi)有訓(xùn)練出來(lái)和算力、電力資源的緊缺，讓我們明白，Scaling Law 也只不過(guò)是在現(xiàn)有技術(shù)條件和資源約束下的最優(yōu)實(shí)踐而已。而目前普遍關(guān)注的問(wèn)題是：模型規(guī)模與計(jì)算效率如何權(quán)衡？這篇論文的出現(xiàn)，便是給解答這個(gè)問(wèn)題提供了一些思路。論文標(biāo)題：Densing Law of LLMs論文鏈接：https://arxiv.org/pdf/2412.04315v2這條定律里出現(xiàn)了一個(gè)新概念——能力密度（Capability Density），論文里給它的定義是：LLM 的有效參數(shù)量與實(shí)際參數(shù)量的比率。那接著就會(huì)問(wèn)了，什么是有效參數(shù)量呢？有效參數(shù)量是指，如果達(dá)到與目標(biāo)模型同等性能，所需的參考模型的參數(shù)數(shù)量。說(shuō)了半天，通俗點(diǎn)講就是：一個(gè) 100B 的模型，另一個(gè) 10B 的模型就能達(dá)到和 100B 相同的性能，這個(gè) 10B 模型的能力密度就是 100/10=10。全文最核心的就是這張圖，下面展開(kāi)分析分析。（灰色的實(shí)線是模型的能力密度數(shù)值，紅色的虛線代表隨著時(shí)間的進(jìn)展趨勢(shì)。）3.3 個(gè)月是怎么得出來(lái)的（下面是建模過(guò)程，我已經(jīng)盡可能精簡(jiǎn)了，如果不想看，可以跳過(guò)這趴）為了計(jì)算能力密度，首先要測(cè)算出有效參數(shù)量，也就是參考模型達(dá)到與目標(biāo)模型同樣性能所需的參數(shù)量。所以，研究團(tuán)隊(duì)需要擬合一個(gè)關(guān)聯(lián)（參考模型參數(shù)量和性能）兩者的函數(shù) S=f?(N) ，其中 S 表示下游性能， N 表示參考模型的參數(shù)量，求一階導(dǎo)得到 N 的大小（也就是有效參數(shù)）：對(duì)于具有 N? 參數(shù)的目標(biāo)模型 ? ，假設(shè)其在下游任務(wù)上的性能得分為 S? 。根據(jù)能力密度的公式，可以得到：最關(guān)鍵地還是測(cè)算出這個(gè)擬合函數(shù)，S=f?(N) ，確定了這個(gè)函數(shù)，就能利用上面的公式輕松得到能力密度了。為此，研究團(tuán)隊(duì)特意采用了兩步估計(jì)法。第一步是損失估計(jì)，即參數(shù)量 和 Loss 之間的關(guān)系；第二步是性能估計(jì)，即 Loss 與性能之間的關(guān)系。性能與參數(shù)量的關(guān)系就被建模成了為此，清華研究團(tuán)隊(duì)特意訓(xùn)練了一系列不同參數(shù)規(guī)模的參考模型，逼近 29 個(gè)開(kāi)源模型在 5 個(gè)基準(zhǔn)測(cè)試上性能。團(tuán)隊(duì)收集了從 23 年 3 月份以來(lái)發(fā)布的開(kāi)源大模型，一共 29 個(gè)開(kāi)源模型，包括 Llama 系列（Llama-1 系列、Llama-2 系列、Llama-3 系列、Phi 系列（Phi-1、Phi-1.5、Phi-2 系列）、Gemma 系列、Mistral-7B、Falcon-40B、MiniCPM 系列。5 個(gè)基準(zhǔn)測(cè)試包括 MMLU、BBH、MATH 、HumanEval 和 MBPP。最終，擬合出這個(gè)線性函數(shù)，擬合得到斜率 A ≈ 0.007， B是個(gè)常數(shù)。其中 t 是自 Llama-1 發(fā)布日期以來(lái)的時(shí)間間隔（單位：天）， ρ 是 t 時(shí)刻的能力度值。3.3 個(gè)月的具體的推算過(guò)程，直接看這個(gè)就明白了。按照這個(gè)定律推測(cè)，在 2025-12 年，我們可以擁有僅 8B 參數(shù)的 GPT-4 級(jí)別 LLM。除了 Densing Law，還有 5 個(gè)推論另外，論文里還提出了 5 個(gè)比較置信的推論，我覺(jué)得也值得分享出來(lái)。推理成本呈指數(shù)下降邊緣人工智能變得越來(lái)越重要（摩爾定律 × 密度定律）大模型的能力密度還在繼續(xù)增強(qiáng)模型壓縮 ≠ 能力密度提升每個(gè)模型都有一個(gè)較短的“最佳性價(jià)比期”大模型推理成本呈指數(shù)下降這點(diǎn)毋庸置疑，ChatGPT 剛推出來(lái)時(shí)每百萬(wàn) token 是 20 美元，現(xiàn)在 Gemini1.5 Flash 已經(jīng)超過(guò)了 ChatGPT，價(jià)格才是 0.0075 美元。降了 266 倍。端側(cè)奇點(diǎn)在加速到來(lái)代表芯片電路發(fā)展規(guī)律摩爾定律和代表模型有效性和效率的密度定律，如果同時(shí)持續(xù)發(fā)展，兩條曲線交匯處，代表端側(cè) AI 的奇點(diǎn)到來(lái)，PC、手機(jī)、機(jī)器人等端側(cè)設(shè)備將能夠運(yùn)行效果足夠好的模型，到那時(shí)候就會(huì)迎來(lái)一個(gè)繁榮的端側(cè)智能生態(tài)。大模型的能力密度還在繼續(xù)增強(qiáng)ChatGPT 是 22 年 11 月發(fā)布，在此之前，以每 4.8 個(gè)月翻番，發(fā)布之后以每 3.3 個(gè)月翻番。這代表 ChatGPT 激起了國(guó)內(nèi)外的百模大戰(zhàn)，開(kāi)源模型的發(fā)展速度更快，以更快的速度出現(xiàn)更高質(zhì)量的開(kāi)源模型。模型壓縮 ≠ 能力密度提升論文中還提到一點(diǎn)，之前的模型壓縮算法不等同于提高模型密度，因?yàn)閷?shí)驗(yàn)表明，大多數(shù)的壓縮模型的密度都低于原始模型。每個(gè)模型都有一個(gè)較短的“最佳性價(jià)比期”隨著模型的能力密度在加速增強(qiáng)，每隔幾個(gè)月就能出現(xiàn)更小、更精悍的模型，這說(shuō)明這個(gè)模型它的最佳性價(jià)比窗口期在算短，淘汰速度也會(huì)變得更快。比如，谷歌 Gemma-2-9B 推出倆月之后，面壁智能的 MiniCPM-3-4B 小鋼炮就做到了同樣效果。這篇論文提出的密度定律，給 LLM 的發(fā)展提供了一種新的視角，不再是只追求模型參數(shù)量的暴力增長(zhǎng)，而是轉(zhuǎn)向思考一個(gè)更務(wù)實(shí)的問(wèn)題，如何能以最小的計(jì)算開(kāi)銷實(shí)現(xiàn)最佳的模型效果。直觀上，如果一個(gè)模型能夠在相同規(guī)模的參數(shù)下取得更好的性能，那么該模型的密度就更高。所以，在計(jì)算資源有限的部署設(shè)備上，未來(lái)我們應(yīng)該花大力氣提高模型的密度，而不是僅僅增加模型參數(shù)規(guī)模來(lái)獲得更好的性能。