<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        哈工深提出基于聯邦學習的大模型指令微調

        AIGC動態1年前 (2024)發布 夕小瑤科技說
        523 0 0

        哈工深提出基于聯邦學習的大模型指令微調

        AIGC動態歡迎閱讀

        原標題:哈工深提出基于聯邦學習的大模型指令微調
        關鍵字:數據,聯邦,參數,模型,算法
        文章來源:夕小瑤科技說
        內容字數:7164字

        內容摘要:


        夕小瑤科技說 原創作者 | 松果引言:面對數據匱乏與隱私挑戰的聯邦指令調整在當今大語言模型(LLMs)發展中,指令調整被證明對于生成與人類對齊的響應至關重要。然而,收集用于調整的多樣化、高質量的指令數據面臨挑戰,尤其是在隱私敏感領域。聯邦指令調整(FEDIT)作為一種解決方案,利用聯邦學習從多個數據所有者那里進行學習,同時保護隱私。盡管如此,它仍面臨著有限的指令數據和易受訓練數據提取攻擊的挑戰。為了解決這些問題,研究者提出了一種新的聯邦算法FEDPIT,該算法利用LLMs的上下文學習能力自主生成特定任務的合成數據進行訓練。采用參數隔離訓練,保持在合成數據上訓練的全局參數和在增強本地數據上訓練的本地參數,有效地阻止了數據提取攻擊。在真實世界的醫療數據上進行的廣泛實驗表明,FEDPIT在提高聯邦少數樣本性能的同時,保護了隱私并對數據異質性表現出了魯棒性。
        論文標題:FEDPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning
        論文鏈接:https://arxiv.org/pdf/2403.06131


        原文鏈接:哈工深提出基于聯邦學習的大模型指令微調

        聯系作者

        文章來源:夕小瑤科技說
        作者微信:xixiaoyaoQAQ
        作者簡介:更快的AI前沿,更深的行業洞見。聚集25萬AI一線開發者、互聯網中高管和機構投資人。一線作者來自清北、國內外頂級AI實驗室和大廠,兼備行業嗅覺與報道深度。

        閱讀原文
        ? 版權聲明
        蟬鏡AI數字人

        相關文章

        蟬鏡AI數字人

        暫無評論

        暫無評論...
        主站蜘蛛池模板: 2048亚洲精品国产| 亚洲五月六月丁香激情| 亚洲乱亚洲乱少妇无码| 亚洲成AV人片在线播放无码| 亚洲综合伊人制服丝袜美腿| 男男黄GAY片免费网站WWW| 67194国产精品免费观看| 亚洲国产精品专区在线观看| 亚洲日韩中文字幕| 久久久国产精品福利免费| 免费看一级做a爰片久久| 亚洲免费福利在线视频| 毛片在线播放免费观看| 亚洲免费视频在线观看| 蜜臀98精品国产免费观看| 亚洲国产精品综合久久网各| 国产一精品一AV一免费孕妇| 精品亚洲成a人片在线观看少妇| 免费无码又爽又黄又刺激网站| 成人特黄a级毛片免费视频| 亚洲精品无码专区在线| 亚洲免费综合色在线视频| 亚洲高清在线mv| 一级毛片在线免费观看| 国产偷窥女洗浴在线观看亚洲 | 999国内精品永久免费观看| 亚洲成AV人片在| 中文字幕人成无码免费视频| 成人婷婷网色偷偷亚洲男人的天堂| 成人片黄网站色大片免费| 亚洲91精品麻豆国产系列在线| 99re这里有免费视频精品| 亚洲精品免费观看| 成人毛片免费观看| 久久久久女教师免费一区| 亚洲精品高清在线| 91久久精品国产免费一区| 91亚洲精品自在在线观看| 日本在线高清免费爱做网站| 亚洲最大在线视频| 亚洲第一黄片大全|