finetune后的模型參數(shù)，還可以繼續(xù)怎么玩？

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：finetune后的模型參數(shù)，還可以繼續(xù)怎么玩？
關(guān)鍵字：侵權(quán),知乎,騰訊,任務(wù),參數(shù)
文章來源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

大會(huì)預(yù)告12月5日-6日，2024中國生成式AI大會(huì)（上海站）將舉辦。上海科大助理教授、博導(dǎo)顧家遠(yuǎn)，騰訊優(yōu)圖實(shí)驗(yàn)室天衍研究中心負(fù)責(zé)人吳賢，銀河通用機(jī)器人合伙人張直政，趣丸科技副總裁賈朔，曠視研究院高級(jí)研究員李華東已確認(rèn)參會(huì)，將圍繞大模型、具身智能、AI視頻生成帶來分享，歡迎報(bào)名。導(dǎo)讀作者為qjf42
原文來自知乎，地址：https://zhuanlan.zhihu.com/p/591775846
本文只做學(xué)術(shù)/技術(shù)分享，如有侵權(quán)，聯(lián)系刪文。看到了一篇很有意思的paper，文章對(duì)預(yù)訓(xùn)練和finetune之后的模型參數(shù)之差（task vector = 兩個(gè)weight按位相減）做了分析，發(fā)現(xiàn)了一些奇妙的用法：通過對(duì)不同下游任務(wù)的task vectors進(jìn)行簡(jiǎn)單的計(jì)算，組合得到的新參數(shù)（構(gòu)成一個(gè)線性子空間），可以擴(kuò)展出更多的使用場(chǎng)景，如：功能抑制（遺忘），多任務(wù)學(xué)習(xí)，遷移學(xué)習(xí)。
以下，我們記task vector 為
我們可以構(gòu)造一系列新的參數(shù)
01反向即遺忘也就是
顯然，這可以讓模型的效果變差，有多差呢？
作者用CLIP分別在八個(gè)下游任務(wù)上finetune，然后反向，并觀察在ImageNe

原文鏈接：finetune后的模型參數(shù)，還可以繼續(xù)怎么玩？

聯(lián)系作者

文章來源：智猩猩GenAI
作者微信：
作者簡(jiǎn)介：