AIGC動態歡迎閱讀

原標題：總結374篇相關工作，陶大程團隊聯合港大、UMD發布LLM知識蒸餾最新綜述
關鍵字：模型,知識,教師,語言,數據
文章來源：機器之心
內容字數：8253字

內容摘要：

機器之心專欄
機器之心編輯部大語言模型（Large Language Models, LLMs）在過去兩年內迅速發展，涌現出一些現象級的模型和產品，如 GPT-4、Gemini、Claude 等，但大多數是閉源的。研究界目前能接觸到的大部分開源 LLMs 與閉源 LLMs 存在較大差距，因此提升開源 LLMs 及其他小模型的能力以減小其與閉源大模型的差距成為了該領域的研究熱點。
LLM 的強大能力，特別是閉源 LLM，使得科研人員和工業界的從業者在訓練自己的模型時都會利用到這些大模型的輸出和知識。這一過程本質上是知識蒸餾（Knowledge, Distillation, KD）的過程，即從教師模型（如 GPT-4）中蒸餾知識到較小的模型（如 Llama）中，顯著提升了小模型的能力。可以看出，大語言模型的知識蒸餾技術無處不在，且對于研究人員來說是一種性價比高、有效的方法，有助于訓練和提升自己的模型。
那么，當前的工作如何利用閉源 LLM 進行知識蒸餾和獲取數據？如何有效地將這些知識訓練到小模型中？小模型能夠獲取教師模型的哪些強大技能？在具有領域特點的工業界，LLM 的知識蒸餾如何發揮作用

原文鏈接：總結374篇相關工作，陶大程團隊聯合港大、UMD發布LLM知識蒸餾最新綜述

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺