大模型微調(diào)非得依賴人類數(shù)據(jù)嗎？DeepMind：用帶反饋的自訓(xùn)練更好

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：大模型微調(diào)非得依賴人類數(shù)據(jù)嗎？DeepMind：用帶反饋的自訓(xùn)練更好
關(guān)鍵字：模型,數(shù)據(jù),性能,任務(wù),人類
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：5693字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：杜偉、陳萍面對(duì)當(dāng)前微調(diào)大模型主要依賴人類生成數(shù)據(jù)的普遍做法，谷歌 DeepMind 探索出了一種減少這種依賴的更高效方法。如你我所見，大語(yǔ)言模型（LLM）正在改變深度學(xué)習(xí)的格局，在生類質(zhì)量的文本和解決各種語(yǔ)言任務(wù)方面展現(xiàn)出了卓越的能力。雖然業(yè)界通過對(duì)人類收集的數(shù)據(jù)進(jìn)行監(jiān)督微調(diào)進(jìn)一步提升了在具體任務(wù)上的性能，但獲取高質(zhì)量人類數(shù)據(jù)卻面臨著重大瓶頸。這對(duì)于要解決復(fù)雜問題的任務(wù)來說尤為明顯，需要大量資源和專業(yè)知識(shí)。
怎么解決呢？模型生成得合成數(shù)據(jù)是一種有潛力的替代方案，只要能保證數(shù)據(jù)的質(zhì)量，就能實(shí)現(xiàn)可擴(kuò)展性和成本效益。
雖然 LLM 能夠自我評(píng)估生成的數(shù)據(jù)，但在本文中，谷歌 DeepMind 探索了一種更簡(jiǎn)單的設(shè)置，將外部標(biāo)量反饋信號(hào)用作每個(gè)生成樣本的質(zhì)量指標(biāo)。論文地址：https://arxiv.org/pdf/2312.06585.pdf
為了研究在模型生成數(shù)據(jù)上的訓(xùn)練，研究者考慮了一種簡(jiǎn)單但強(qiáng)大的語(yǔ)言模型自訓(xùn)練方法，僅需要兩項(xiàng)功能，一是基于模型生成樣本，二是利用評(píng)分機(jī)制對(duì)這些樣本進(jìn)行評(píng)估。
為了確保清晰度和一致性，研究者采用了一種強(qiáng)化自訓(xùn)練方法 ReST^??

原文鏈接：大模型微調(diào)非得依賴人類數(shù)據(jù)嗎？DeepMind：用帶反饋的自訓(xùn)練更好

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)