谷歌開源 AI 微調方法： Distilling Step-by-Step

AIGC動態歡迎閱讀

原標題：谷歌開源 AI 微調方法： Distilling Step-by-Step

關鍵字：模型,數據,性能,參數,規模

文章來源：AI前線

內容字數：3249字

內容摘要：作者 | Anthony Alford 譯者 | 王強 策劃 | 丁曉昀 華盛頓大學和谷歌研究中心的一個團隊最近開源了 Distilling Step-by-Step（逐步蒸餾），一種用于微調規模較小的語言模型的技術。與標準微調相比，逐步蒸餾需要的訓練數據更少，并且生成的模型更小，但模型性能卻優于參數規模是它 700 倍的小樣本提示大型語言模型 （LLM）。雖然 LLM 一般可以在提示較少的情況下在多種任務上有良好的表現，但由于其內存和算力要求過高，模型的托管是比較有挑戰的。規模較小的模型在微調后也可以有良好的表現，但這需要工程師手動創建針對具體任務優化的數據集。逐步蒸餾的關鍵思想是使用 LLM 自動生成一個小型微調數據集，其中的數據有一個輸入和一個輸出標簽，以及選擇這個輸出標簽的“理由”。微調過程會訓練這個小模型來預測輸出標簽并生成對應的理由。在 NLP 基準上評估時，小型微調模型的性能…

原文鏈接：點此閱讀原文：谷歌開源 AI 微調方法： Distilling Step-by-Step

聯系作者

文章來源：AI前線

作者微信：ai-front

作者簡介：面向AI愛好者、開發者和科學家，提供AI領域技術資訊、一線業界實踐案例、搜羅整理業界技術分享干貨、AI論文解讀。每周一節技術分享公開課，助力你全面擁抱人工智能技術。