国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

陳丹琦團隊降本又來了:數據砍掉三分之一,性能卻完全不減

AIGC動態10個月前發布 量子位
282 0 0

首次用元數據加速預訓練

陳丹琦團隊降本大法又來了:數據砍掉三分之一,性能卻完全不減

原標題:陳丹琦團隊降本又來了:數據砍掉三分之一,性能卻完全不減
文章來源:量子位
內容字數:3463字

陳丹琦團隊新研究:元數據加速大模型預訓練,數據量減少三分之一性能不減

普林斯頓大學陳丹琦團隊提出了一種名為MeCo(Metadata Conditioning then Cooldown)的新型大模型預訓練方法,通過引入元數據,在減少訓練數據量的同時,提升了模型性能。該方法在不同模型規模(600M-8B)和數據源上均取得了顯著效果,平均性能與使用240B標記的基線相當,而數據量卻減少了33%。

1. MeCo方法的核心:元數據調節與冷卻

MeCo方法包含兩個階段:預訓練階段和冷卻階段。在預訓練階段(占90%),將元數據(例如文檔URL的絕對域名)與文檔拼接進行訓練。研究人員只計算文檔標記的交叉熵損失,忽略元數據標記的損失,因為實驗表明這有助于提升下游性能。冷卻階段(占10%)使用標準數據進行訓練,并繼承預訓練階段的學習率和優化器狀態。此階段的關鍵改進包括:禁用跨文檔Attention以加速訓練并提升性能;確保每個序列從一個新文檔開始,避免數據浪費并提升性能。

2. 實驗結果與貢獻

實驗使用了Llama Transformer架構和Llama-3 tokenizer,在四種不同模型規模(600M、1.6B、3B和8B)上進行了測試。結果表明,MeCo顯著優于標準預訓練方法,在減少33%數據量的情況下,達到了相同的平均下游性能。該團隊總結了MeCo的三大貢獻:

  1. 顯著加速預訓練:MeCo使1.6B模型在少用33%訓練數據的情況下,達到與標準預訓練模型相同的平均下游性能,并在不同模型規模和數據源下都展現出一致的優勢。
  2. 開啟語言模型訓練新方法:MeCo能夠根據元數據引導模型學習,例如使用特定網站的URL可以提升特定任務的性能,例如常識性問題解答或降低毒性生成。
  3. MeCo設計選擇的消解和兼容性:研究證明MeCo與不同類型的元數據兼容,元數據的主要作用是按來源對文檔進行分類。

3. 團隊成員及背景

該論文的主要作者來自普林斯頓大學自然語言處理小組,包括博士生高天宇(一作,清華大學本科畢業,清華特獎獲得者)、Alexander Wettig、Luxi He、YiHe Dong、Sadhika Malladi以及教授陳丹琦。團隊成員在自然語言處理和機器學習領域擁有豐富的經驗。

4. 總結

MeCo方法通過巧妙地利用元數據,有效地提高了大模型預訓練的效率,并降低了訓練成本。這項研究為大模型的訓練和應用提供了新的思路,具有重要的學術意義和應用價值。


聯系作者

文章來源:量子位
作者微信:
作者簡介:追蹤人工智能新趨勢,關注科技行業新突破

閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        国产精品一卡二| 一区二区三区精品在线| 粉嫩绯色av一区二区在线观看| 欧美日本免费一区二区三区| 在线视频亚洲一区| 欧美一区二区女人| 色综合天天做天天爱| 极品少妇一区二区三区精品视频| 亚洲免费在线观看| 水野朝阳av一区二区三区| 狠狠色丁香久久婷婷综合_中| 亚洲成年人影院| 国产真实乱对白精彩久久| 精品一区二区三区在线观看国产 | 欧美日韩精品一区二区三区四区| 成人sese在线| 宅男在线国产精品| 国产精品久久久久一区二区三区 | 2023国产精华国产精品| 中文字幕亚洲一区二区av在线| 国产欧美综合色| 日韩av网站免费在线| 国产精品自拍av| 成人理论电影网| 99久久国产综合色|国产精品| 成人av午夜电影| 久久国产福利国产秒拍| 99久久精品免费看国产| 欧美日韩和欧美的一区二区| 精品国产乱码久久久久久蜜臀| 欧美日韩中文精品| 国产精品久久久久久久久免费丝袜| 久久综合丝袜日本网| 日韩伦理av电影| 高清日韩电视剧大全免费| 91在线一区二区| 精品美女在线观看| 亚洲成av人片www| 成人免费毛片嘿嘿连载视频| 欧美久久高跟鞋激| 国产精品成人免费精品自在线观看| 日韩一区二区三区电影在线观看| 欧美福利一区二区| 国产日韩精品久久久| 精品午夜久久福利影院| 日韩一区二区三区观看| 日韩电影网1区2区| 在线播放日韩导航| 亚洲精品成人a在线观看| 成人激情小说网站| 日本一区二区免费在线| 国产精品午夜久久| 美腿丝袜亚洲三区| 91精品啪在线观看国产60岁| 亚洲电影视频在线| 在线亚洲欧美专区二区| 亚洲精品一区二区在线观看| 日韩和的一区二区| 精品久久久三级丝袜| 国产乱码精品一区二区三区av| 在线观看区一区二| 亚洲电影中文字幕在线观看| 欧美精品第1页| 蜜桃视频在线观看一区| a亚洲天堂av| 国产亚洲欧美中文| 波波电影院一区二区三区| wwwwxxxxx欧美| 成人h动漫精品一区二区| 亚洲视频综合在线| 欧美一区二区视频免费观看| 狠狠v欧美v日韩v亚洲ⅴ| 欧美精品一区二区三区蜜臀| 国产成人av电影| 精品国产一区二区三区久久久蜜月 | 亚洲精品免费播放| 欧美日韩国产bt| 国产一区亚洲一区| 亚洲日本在线看| 欧美精品一级二级| 国产成人免费网站| 国产无人区一区二区三区| 国模冰冰炮一区二区| 久久久久国色av免费看影院| 91香蕉视频污| 青青草91视频| 亚洲国产精品99久久久久久久久| 麻豆久久久久久久| 中文字幕一区二区不卡 | 26uuu久久天堂性欧美| 欧美三区免费完整视频在线观看| 国产精品久久久久婷婷二区次| 国产福利精品一区二区| 亚洲综合成人网| 国产精品天天看| 久久综合五月天婷婷伊人| 欧美另类久久久品| 99精品久久久久久| 亚洲福利一二三区| 欧美一区欧美二区| 国产乱淫av一区二区三区| 日韩一区精品视频| 亚洲在线中文字幕| 综合色天天鬼久久鬼色| 国产无遮挡一区二区三区毛片日本| www.欧美.com| 国产ts人妖一区二区| 蜜臀99久久精品久久久久久软件| 久久久久久久免费视频了| 欧美电影在哪看比较好| 欧美亚一区二区| 在线观看免费亚洲| 在线免费视频一区二区| 欧美在线观看视频一区二区三区| 日本不卡在线视频| 偷拍日韩校园综合在线| 亚洲国产cao| 欧美电视剧免费全集观看| 欧美一区二区精品久久911| 欧美日韩三级一区二区| 在线亚洲一区二区| 久久不见久久见免费视频1| 日韩精彩视频在线观看| 国产精品免费视频网站| 亚洲国产精品成人综合色在线婷婷 | 国产蜜臀97一区二区三区 | 九九视频精品免费| 亚洲日本va午夜在线影院| 国产精品久久久久久久久免费相片 | 日韩av高清在线观看| 免费在线观看不卡| 国产精品亚洲一区二区三区在线| 一级精品视频在线观看宜春院| 精品国产sm最大网站免费看| 久久九九影视网| 亚洲欧美日韩电影| 日本欧美在线观看| 国产剧情一区在线| 成人性生交大片免费| 欧美亚洲综合久久| 欧美一区二区三区视频免费| 在线精品视频小说1| 日韩三区在线观看| 国产精品人妖ts系列视频| 精品国产青草久久久久福利| 久久久91精品国产一区二区精品| 欧美一级理论性理论a| 久久久不卡网国产精品二区| 亚洲图片欧美激情| 久久国产精品72免费观看| 视频一区二区国产| 国产成人免费xxxxxxxx| 欧美无砖专区一中文字| 成人丝袜高跟foot| 91精品国产一区二区三区| 久久人人97超碰com| 中文字幕一区免费在线观看| 天天综合日日夜夜精品| 懂色一区二区三区免费观看| 91国内精品野花午夜精品| 日韩免费观看高清完整版在线观看 | 天天综合色天天综合| 国产成都精品91一区二区三| 欧美日韩中文一区| 亚洲欧洲一区二区在线播放| 日本成人中文字幕在线视频 | 日韩精品一区第一页| 午夜精品福利一区二区蜜股av| 亚洲激情图片qvod| 国产麻豆精品95视频| 欧美色电影在线| 国产精品情趣视频| 另类综合日韩欧美亚洲| 在线中文字幕不卡| 欧美精品色一区二区三区| 亚洲欧洲国产日本综合| 亚洲欧美日韩一区| 亚洲福利一二三区| 色综合天天做天天爱| 久久久久久亚洲综合影院红桃 | 国产伦理精品不卡| 日韩欧美一二三四区| 久久久久国产一区二区三区四区| 久久精品一区二区三区av| 青草av.久久免费一区| 精品视频一区三区九区| 亚洲黄一区二区三区| 亚洲成人免费视| 欧美综合天天夜夜久久| 一区二区三区中文在线观看| a美女胸又www黄视频久久| 国产精品午夜春色av| 国产·精品毛片| 中文字幕成人av| 福利电影一区二区三区| 精品国产第一区二区三区观看体验| 国产精品毛片高清在线完整版 | 国产视频视频一区| 国产精品一二三区在线| 国产欧美日本一区视频|