AIGC動態歡迎閱讀

原標題：Scaling Law或將終結？哈佛MIT預警：低精度量化已無路可走，重磅研究掀翻AI圈
關鍵字：精度,模型,權重,參數,研究人員
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：桃子 LRS
【新智元導讀】哈佛斯坦福MIT等機構首次提出「精度感知」scaling law，揭示了精度、參數規模、數據量之間的統一關系。數據量增加，模型對量化精度要求隨之提高，這預示著AI領域低精度加速的時代即將結束！就連「量化」也不管用，scaling law真的要終結了嗎？
一提scaling law，人們重點關注的是參數規模、數據量等因素，卻忽視了「精度」這一關鍵變量。
哈佛斯坦福MIT等機構研究人員竟發現，低精度訓練會降低模型的「有效參數量」！
對此，他們提出了「精度感知（precision-aware）」scaling law。
論文地址：https://arxiv.org/pdf/2411.04330
對于推理過程來說，訓練數據越多，量化帶來的性能損失越大。
就訓練來說，「精度感知」scaling law能夠預測不同部分采用不同精度的模型的損失。在某些情況下，用低精度訓練LLM可能更有效率。
論文中，作者統一了訓練后和預訓練量化的scaling law，建立了一個完整的理論框架。
這個單一函數形式可以預測在不同精度下進行訓練和推理時的性能降級。
基于46

原文鏈接：Scaling Law或將終結？哈佛MIT預警：低精度量化已無路可走，重磅研究掀翻AI圈

聯系作者

文章來源：新智元
作者微信：
作者簡介：