像調一樣調制多技能大模型，智源等機構發布LM-Cocktail模型治理策略

AIGC動態歡迎閱讀

原標題：像調一樣調制多技能大模型，智源等機構發布LM-Cocktail模型治理策略

關鍵字：模型,任務,報告,目標,準確度

文章來源：機器之心

內容字數：4663字

內容摘要：機器之心專欄機器之心編輯部隨著大模型技術的發展與落地，「模型治理」已經成為了目前受到重點關注的命題。只不過，在實踐中，研究者往往感受到多重挑戰。一方面，為了高其在目標任務的性能表現，研究者會收集和構建目標任務數據集并對大語言模型（LLM）進行微調，但這種方式通常會導致除目標任務以外的一般任務的性能明顯下降，損害 LLM 原本具備的通用能力。另一方面，開源社區的模型逐漸增多，大模型開發者也可能在多次訓練中累計了越來越多的模型，每個模型都具有各自的優勢，如何選擇合適的模型執行任務或進一步微調反而成為一個問題。近日，智源研究院信息檢索與知識計算組發布 LM-Cocktail 模型治理策略，旨在為大模型開發者提供一個低成本持續提升模型性能的方式：通過少量樣例計算融合權重，借助模型融合技術融合微調模型和原模型的優勢，實現「模型資源」的高效利用。技術報告：https://arxiv.org/abs/2…

原文鏈接：點此閱讀原文：像調一樣調制多技能大模型，智源等機構發布LM-Cocktail模型治理策略

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺