国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

陳丹琦團隊降本又來了:數據砍掉三分之一,性能卻完全不減

AIGC動態10個月前發布 量子位
282 0 0

首次用元數據加速預訓練

陳丹琦團隊降本大法又來了:數據砍掉三分之一,性能卻完全不減

原標題:陳丹琦團隊降本又來了:數據砍掉三分之一,性能卻完全不減
文章來源:量子位
內容字數:3463字

陳丹琦團隊新研究:元數據加速大模型預訓練,數據量減少三分之一性能不減

普林斯頓大學陳丹琦團隊提出了一種名為MeCo(Metadata Conditioning then Cooldown)的新型大模型預訓練方法,通過引入元數據,在減少訓練數據量的同時,提升了模型性能。該方法在不同模型規模(600M-8B)和數據源上均取得了顯著效果,平均性能與使用240B標記的基線相當,而數據量卻減少了33%。

1. MeCo方法的核心:元數據調節與冷卻

MeCo方法包含兩個階段:預訓練階段和冷卻階段。在預訓練階段(占90%),將元數據(例如文檔URL的絕對域名)與文檔拼接進行訓練。研究人員只計算文檔標記的交叉熵損失,忽略元數據標記的損失,因為實驗表明這有助于提升下游性能。冷卻階段(占10%)使用標準數據進行訓練,并繼承預訓練階段的學習率和優化器狀態。此階段的關鍵改進包括:禁用跨文檔Attention以加速訓練并提升性能;確保每個序列從一個新文檔開始,避免數據浪費并提升性能。

2. 實驗結果與貢獻

實驗使用了Llama Transformer架構和Llama-3 tokenizer,在四種不同模型規模(600M、1.6B、3B和8B)上進行了測試。結果表明,MeCo顯著優于標準預訓練方法,在減少33%數據量的情況下,達到了相同的平均下游性能。該團隊總結了MeCo的三大貢獻:

  1. 顯著加速預訓練:MeCo使1.6B模型在少用33%訓練數據的情況下,達到與標準預訓練模型相同的平均下游性能,并在不同模型規模和數據源下都展現出一致的優勢。
  2. 開啟語言模型訓練新方法:MeCo能夠根據元數據引導模型學習,例如使用特定網站的URL可以提升特定任務的性能,例如常識性問題解答或降低毒性生成。
  3. MeCo設計選擇的消解和兼容性:研究證明MeCo與不同類型的元數據兼容,元數據的主要作用是按來源對文檔進行分類。

3. 團隊成員及背景

該論文的主要作者來自普林斯頓大學自然語言處理小組,包括博士生高天宇(一作,清華大學本科畢業,清華特獎獲得者)、Alexander Wettig、Luxi He、YiHe Dong、Sadhika Malladi以及教授陳丹琦。團隊成員在自然語言處理和機器學習領域擁有豐富的經驗。

4. 總結

MeCo方法通過巧妙地利用元數據,有效地提高了大模型預訓練的效率,并降低了訓練成本。這項研究為大模型的訓練和應用提供了新的思路,具有重要的學術意義和應用價值。


聯系作者

文章來源:量子位
作者微信:
作者簡介:追蹤人工智能新趨勢,關注科技行業新突破

閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        青青草国产成人av片免费| 日韩精品一区二区三区三区免费| 99re在线视频这里只有精品| 国产婷婷色一区二区三区 | 精品美女在线观看| 激情图区综合网| 中文成人av在线| 91国偷自产一区二区三区观看| 亚洲午夜久久久久久久久电影院 | 国产美女一区二区| 中文字幕不卡在线观看| 99精品国产91久久久久久| 亚洲午夜av在线| 精品久久久久久久久久久久久久久| 成人综合在线观看| 日韩精品一二三| 欧美国产97人人爽人人喊| 一本色道综合亚洲| 美女免费视频一区二区| 中文字幕色av一区二区三区| 欧美精品一二三区| 成人看片黄a免费看在线| 日韩精品1区2区3区| 中文在线一区二区| 欧美一区二区播放| 99久久综合国产精品| 蜜臀av亚洲一区中文字幕| 国产精品成人在线观看| 欧美一级在线观看| 在线精品国精品国产尤物884a| 韩国视频一区二区| 日韩av午夜在线观看| 国产精品国产精品国产专区不片| 欧美在线视频全部完| 国产乱对白刺激视频不卡| 亚洲成a人片在线观看中文| 中文字幕电影一区| 久久无码av三级| 欧美狂野另类xxxxoooo| 色综合久久综合网97色综合| 国产成人啪免费观看软件| 日韩二区三区在线观看| 一区二区三区在线不卡| 国产精品色哟哟| 久久久久久黄色| 日韩欧美国产高清| 欧美日韩国产大片| 在线视频综合导航| 日本韩国精品在线| 91原创在线视频| 成人午夜电影小说| 国产.精品.日韩.另类.中文.在线.播放| 亚洲国产成人精品视频| 日本道精品一区二区三区| 成人美女在线观看| 成人动漫av在线| 大陆成人av片| 91免费在线看| 欧美日韩中文字幕一区二区| 欧美三级在线看| 911精品国产一区二区在线| 69堂国产成人免费视频| 在线不卡免费av| 日韩免费观看高清完整版 | 欧美zozo另类异族| 欧美成人综合网站| 久久久综合视频| 欧美激情一区二区三区不卡| 国产精品每日更新在线播放网址| 国产精品天天摸av网| 亚洲女子a中天字幕| 一区二区国产视频| 日韩在线一二三区| 韩国女主播成人在线观看| 粉嫩高潮美女一区二区三区| 91免费观看在线| 91精品国产欧美一区二区| 欧美成人乱码一区二区三区| 国产三级精品三级在线专区| 亚洲手机成人高清视频| 香蕉久久夜色精品国产使用方法 | 国产精品系列在线播放| 高清成人免费视频| 91精品福利在线| 日韩欧美国产一区在线观看| 国产精品色噜噜| 亚洲成人免费在线| 国模无码大尺度一区二区三区| 国产成人丝袜美腿| 欧美日韩久久久一区| 国产午夜久久久久| 亚洲精品免费看| 精品在线一区二区| 欧美综合一区二区三区| 国产网站一区二区三区| 亚洲不卡一区二区三区| 国产高清不卡一区| 精品视频1区2区| 中文字幕欧美三区| 日韩av二区在线播放| 91亚洲永久精品| 精品福利二区三区| 午夜精品福利一区二区三区蜜桃| 国产成人免费视频网站| 欧美精品99久久久**| 中文字幕一区二区三区在线不卡| 奇米精品一区二区三区在线观看| 91女厕偷拍女厕偷拍高清| 久久久亚洲精华液精华液精华液| 亚洲午夜久久久| 色综合久久综合中文综合网| 久久久噜噜噜久久人人看| 日本视频一区二区| 欧美日韩一区二区电影| 亚洲图片你懂的| 成人精品视频一区二区三区 | 色综合色综合色综合色综合色综合 | 视频一区二区中文字幕| 9色porny自拍视频一区二区| 精品av综合导航| 美女在线一区二区| 欧美日韩色一区| 亚洲一区二区三区中文字幕| 色偷偷久久一区二区三区| 亚洲国产岛国毛片在线| 国产成人午夜视频| 中文字幕av一区二区三区| 国产福利一区二区三区视频| 2022国产精品视频| 国产精品亚洲一区二区三区妖精| 精品日韩在线观看| 狠狠色狠狠色综合| 久久久久国产精品人| 国产精品12区| 国产精品美女久久久久av爽李琼 | 精品一区免费av| 精品国产成人在线影院| 国产高清精品网站| 国产精品久久久久影视| 91麻豆蜜桃一区二区三区| 亚洲免费av在线| 欧美色老头old∨ideo| 亚洲国产日韩av| 欧美一区二区福利在线| 国产自产视频一区二区三区| 国产调教视频一区| 在线观看日韩毛片| 美女精品一区二区| 亚洲国产成人一区二区三区| av一区二区不卡| 午夜精品久久久久久久久久| 日韩免费视频一区二区| 成人久久18免费网站麻豆 | heyzo一本久久综合| 一区二区三区四区亚洲| 欧美色精品在线视频| 另类欧美日韩国产在线| 国产欧美一区二区精品久导航 | 美女一区二区久久| 国产色一区二区| 色哟哟在线观看一区二区三区| 亚洲电影一区二区| 久久综合色一综合色88| av亚洲精华国产精华| 日韩成人午夜电影| 中文字幕欧美一| 91精品国产综合久久久久| 国产成人鲁色资源国产91色综| 亚洲区小说区图片区qvod| 91精品久久久久久久99蜜桃 | 激情综合网av| 一区二区三区精品在线观看| 精品三级在线观看| 欧美午夜影院一区| 高清国产午夜精品久久久久久| 亚洲大片免费看| 国产精品麻豆欧美日韩ww| 8v天堂国产在线一区二区| 福利一区福利二区| 九九在线精品视频| 亚洲综合精品久久| 中文字幕不卡在线观看| 日韩欧美一区在线| 欧美午夜免费电影| 99久久久精品| 岛国av在线一区| 国产激情视频一区二区在线观看| 午夜亚洲福利老司机| 亚洲欧美日韩在线不卡| 欧美国产一区视频在线观看| 欧美一区二区视频网站| 99九九99九九九视频精品| 国产xxx精品视频大全| 激情五月激情综合网| 青青草97国产精品免费观看| 亚洲国产精品久久久久婷婷884| 亚洲丝袜自拍清纯另类| 国产精品看片你懂得| 国产精品成人一区二区艾草| 欧美激情在线一区二区|