Llama2擊敗GPT-4 ！| Meta提出自獎(jiǎng)勵(lì)語言模型，實(shí)現(xiàn)Llama2超進(jìn)化！

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：Llama2擊敗GPT-4 ！| Meta提出自獎(jiǎng)勵(lì)語言模型，實(shí)現(xiàn)Llama2超進(jìn)化！
關(guān)鍵字：模型,研究人員,數(shù)據(jù),指令,自我
文章來源：算法邦
內(nèi)容字?jǐn)?shù)：6729字

內(nèi)容摘要：

本文轉(zhuǎn)載自公眾號(hào)：新智元，編輯：桃子，如需轉(zhuǎn)載請(qǐng)與該公眾號(hào)聯(lián)系。【導(dǎo)讀】AI訓(xùn)AI必將成為一大趨勢(shì)。Meta和NYU團(tuán)隊(duì)提出讓大模型「自我獎(jiǎng)勵(lì)」的方法，讓Llama2一舉擊敗GPT-4 0613、Claude 2、Gemini Pro領(lǐng)先模型。Llama 2-70B一夜之間打敗GPT-4，讓整個(gè)AI社區(qū)為之震驚！甚至，在AlpacaEval 2.0排行榜中，微調(diào)后的模型勝率完全碾壓Claude 2、Gemini Pro等模型。Meta和NYU研究團(tuán)隊(duì)究竟提出了什么秘制配方，才能讓Llama 2-70B超強(qiáng)進(jìn)化？
正如論文題目所言——「自激勵(lì)語言模型」，模型生成訓(xùn)練數(shù)據(jù)，并評(píng)估這些數(shù)據(jù)的質(zhì)量，然后用這些數(shù)據(jù)來自己訓(xùn)練自己。
簡單來說，最新方法可以讓LLM在迭代訓(xùn)練過程中不斷自我改進(jìn)。論文地址：
https://arxiv.org/pdf/2401.10020.pdf
LeCun也轉(zhuǎn)贊了自家實(shí)驗(yàn)室的研究。RLAIF已經(jīng)不是新鮮事了，之前包括Anthropic，谷歌都推出過自己的「AI訓(xùn)AI」的技術(shù)，那么Meta的這項(xiàng)工作和之前的幾家的RLAIF區(qū)別在哪里呢？
我們先來了解一下Meta的自獎(jiǎng)

原文鏈接：Llama2擊敗GPT-4 ！| Meta提出自獎(jiǎng)勵(lì)語言模型，實(shí)現(xiàn)Llama2超進(jìn)化！

聯(lián)系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關(guān)注大模型、生成式AI、計(jì)算機(jī)視覺三大領(lǐng)域的研究與開發(fā)，提供技術(shù)文章、講座、在線研討會(huì)。