小模型狂飆！6家巨頭爭相發布小模型，Andrej Karpathy：大語言模型的尺寸競爭正在倒退…

AIGC動態歡迎閱讀

原標題：小模型狂飆！6家巨頭爭相發布小模型，Andrej Karpathy：大語言模型的尺寸競爭正在倒退…
關鍵字：模型,數據,參數,函數,性能
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | 21#過去一周，可謂是小模型戰場最瘋狂的一周，商業巨頭改變賽道，向大模型say byebye~。
OpenAI、Apple、Mistral等“百花齊放”，紛紛帶著自家性能優越的輕量化小模型入場。
小模型(SLM)，是相對于大語言模型（LLM）而言的，它們一般來說具有較少的參數和較低的計算資源需求。
前OpenAI和特斯拉AI研究員Andrej Karpathy更是直言LLM大小競爭會出現逆轉的趨勢，預測模型將向著更小更智能的方向發展。
為了快速理解，中文翻譯如下：
大語言模型的尺寸競爭正在倒退…
我打賭我們會看到非常非常小的模型“思考”得非常好且可靠。很可能存在一個GPT-2參數的設置，大多數人會認為GPT-2是“聰明的”。當前模型如此大的原因是因為我們在訓練期間仍然非常浪費——我們要求它們記住互聯網，令人驚訝的是，它們確實做到了，并且可以例如背誦常見數字的SHA哈希值，或回憶非常深奧的事實。（實際上，大語言模型在記憶方面非常出色，質量上遠勝于人類，有時只需要一次更新就能記住大量細節，并且長時間記住）。但想象一下，如果你要在閉卷考試中背誦互聯網的任意段落

原文鏈接：小模型狂飆！6家巨頭爭相發布小模型，Andrej Karpathy：大語言模型的尺寸競爭正在倒退…

聯系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：