AIGC動態(tài)歡迎閱讀

原標題：谷歌開源 AI 微調(diào)方法： Distilling Step-by-Step

關鍵字：模型,數(shù)據(jù),性能,參數(shù),規(guī)模

文章來源：AI前線

內(nèi)容字數(shù)：3249字

內(nèi)容摘要：作者 | Anthony Alford 譯者 | 王強 策劃 | 丁曉昀 華盛頓大學和谷歌研究中心的一個團隊最近開源了 Distilling Step-by-Step（逐步蒸餾），一種用于微調(diào)規(guī)模較小的語言模型的技術。與標準微調(diào)相比，逐步蒸餾需要的訓練數(shù)據(jù)更少，并且生成的模型更小，但模型性能卻優(yōu)于參數(shù)規(guī)模是它 700 倍的小樣本提示大型語言模型 （LLM）。雖然 LLM 一般可以在提示較少的情況下在多種任務上有良好的表現(xiàn)，但由于其內(nèi)存和算力要求過高，模型的托管是比較有挑戰(zhàn)的。規(guī)模較小的模型在微調(diào)后也可以有良好的表現(xiàn)，但這需要工程師手動創(chuàng)建針對具體任務優(yōu)化的數(shù)據(jù)集。逐步蒸餾的關鍵思想是使用 LLM 自動生成一個小型微調(diào)數(shù)據(jù)集，其中的數(shù)據(jù)有一個輸入和一個輸出標簽，以及選擇這個輸出標簽的“理由”。微調(diào)過程會訓練這個小模型來預測輸出標簽并生成對應的理由。在 NLP 基準上評估時，小型微調(diào)模型的性能…

原文鏈接：點此閱讀原文：谷歌開源 AI 微調(diào)方法： Distilling Step-by-Step

聯(lián)系作者

文章來源：AI前線

作者微信：ai-front

作者簡介：面向AI愛好者、開發(fā)者和科學家，提供AI領域技術資訊、一線業(yè)界實踐案例、搜羅整理業(yè)界技術分享干貨、AI論文解讀。每周一節(jié)技術分享公開課，助力你全面擁抱人工智能技術。