改變LoRA的初始化方式，北大新方法PiSSA顯著提升微調效果

AIGC動態歡迎閱讀

原標題：改變LoRA的初始化方式，北大新方法PiSSA顯著提升微調效果
關鍵字：模型,初始化,參數,分解,向量
文章來源：機器之心
內容字數：7932字

內容摘要：

機器之心專欄
機器之心編輯部隨著大模型的參數量日益增長，微調整個模型的開銷逐漸變得難以接受。
為此，北京大學的研究團隊提出了一種名為 PiSSA 的參數高效微調方法，在主流數據集上都超過了目前廣泛使用的 LoRA 的微調效果。論文: PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models
論文鏈接: https://arxiv.org/pdf/2404.02948.pdf
代碼鏈接: https://github.com/GraphPKU/PiSSA
如圖 1 所示，PiSSA (圖 1c) 在模型架構上和 LoRA [1] 完全一致 (圖 1b)，只是初始化 Adapter 的方式不同。LoRA 使用高斯噪聲初始化 A，使用 0 初始化 B。而 PiSSA 使用主奇異值和奇異向量 (Principal Singular values and Singular vectors) 來初始化 Adapter 來初始化 A 和 B。圖 1）從左到右依次為全參數微調、Lo

原文鏈接：改變LoRA的初始化方式，北大新方法PiSSA顯著提升微調效果

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺