AIGC動態歡迎閱讀

原標題：將混合專家推向極限：只需更新0.32%的參數就能完成模型微調

關鍵字：參數,模型,高效,專家,方法

文章來源：機器之心

內容字數：7971字

內容摘要：機器之心報道編輯：Panda W微調無需更新全部模型參數，這種方法只需更新不到 1% 的參數。眾所周知，大模型的訓練成本很高，但其實對預訓練后的模型進行微調也需要一定的成本，還好我們已經有了 (IA)3 或 LORA 等一些參數高效型微調（PEFT）方法。近日，AI 創業公司 Cohere 更進一步，將混合專家方法與 PEFT 組合，實現了極其參數高效的微調 —— 即使是在未曾見過的任務上，這種新…

原文鏈接：點此閱讀原文：將混合專家推向極限：只需更新0.32%的參數就能完成模型微調

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺