GPT-3.5 (text-davinci-003)、ChatGPT、Claude 和 Bing Chat 等指令跟隨模型變得越來越強(qiáng)大。許多用戶現(xiàn)在定期與這些模型交互，甚至將它們用于工作。然而，盡管它們得到廣泛部署，指令遵循模型仍然存在許多缺陷：它們會(huì)產(chǎn)生虛假信息、傳播社會(huì)刻板印象并產(chǎn)生有毒語言。
為了在解決這些緊迫問題方面取得最大進(jìn)展，學(xué)術(shù)界的參與很重要。不幸的是，在學(xué)術(shù)界對(duì)指令遵循模型進(jìn)行研究一直很困難，因?yàn)闆]有開源模型在功能上接近閉源模型，例如 OpenAI 的 text-davinci-003。
我們正在發(fā)布我們關(guān)于指令跟隨語言模型的發(fā)現(xiàn)，該模型被稱為Alpaca ，它是從 Meta 的LLaMA?7B 模型中微調(diào)而來的。我們使用 text-davinci-003在以自我指導(dǎo)方式生成的 52K 指令跟隨演示上訓(xùn)練羊駝模型。Alpaca 表現(xiàn)出許多類似于 OpenAI 的 text-davinci-003 的行為，但也出奇地小且易于復(fù)制/便宜。
我們正在發(fā)布我們的訓(xùn)練配方和數(shù)據(jù)，并打算在未來發(fā)布模型權(quán)重。我們還舉辦了一個(gè)互動(dòng)演示，讓研究界更好地了解羊駝的行為。交互可以暴露意想不到的能力和失敗，這將指導(dǎo)我們未來對(duì)這些模型的評(píng)估。我們還鼓勵(lì)用戶在我們的網(wǎng)絡(luò)演示中報(bào)告任何相關(guān)行為，以便我們更好地理解和減輕這些行為。由于任何版本都有風(fēng)險(xiǎn)，我們稍后將在本博文中討論我們對(duì)這個(gè)公開版本的思考過程。
我們強(qiáng)調(diào) Alpaca僅用于學(xué)術(shù)研究，禁止任何商業(yè)用途。這個(gè)決定有3個(gè)因素：第一，Alpaca基于LLaMA，有非商業(yè)許可，所以我們必然繼承這個(gè)決定。其次，指令數(shù)據(jù)基于 OpenAI 的 text-davinci-003，其使用條款禁止開發(fā)與 OpenAI 競(jìng)爭(zhēng)的模型。最后，我們沒有設(shè)計(jì)足夠的安全措施，所以 Alpaca 還沒有準(zhǔn)備好部署到一般用途。
官網(wǎng)地址：https://crfm.stanford.edu/2023/03/13/alpaca.html
模型入口：https://crfm.stanford.edu/alpaca
github地址：https://github.com/tatsu-lab/stanford_alpaca