llama2

llama2官網(wǎng),模型下載,開源部署教程,中文,論文,Meta發(fā)布的大型語(yǔ)言模型

llama2簡(jiǎn)介

今年2月，Meta發(fā)布了第一版Llama大型語(yǔ)言模型，這是在ChatGPT發(fā)布僅三個(gè)月后的一次重要進(jìn)展。與之前只能用于研究目的的Llama預(yù)訓(xùn)練模型不同，新發(fā)布的Llama 2具備商業(yè)應(yīng)用的能力。Meta發(fā)布了三種參數(shù)規(guī)模的模型，分別是70億、130億和700億。他們公布了模型訓(xùn)練數(shù)據(jù)、訓(xùn)練方法以及數(shù)據(jù)標(biāo)注等細(xì)節(jié)，充分展示了Llama 2的實(shí)力：在相同的參數(shù)規(guī)模下，Llama 2的能力超越了所有的開源大型模型；700億參數(shù)的模型在推理能力上接近ChatGPT背后的GPT-3.5，但在編寫代碼方面還存在較大差距。
llama2官網(wǎng): https://ai.meta.com/llama/
這里填寫表格獲取llama2模型:
https://ai.meta.com/resources/models-and-libraries/llama-downloads/

llama2怎么樣?

許多開發(fā)者對(duì)Llama 2進(jìn)行了測(cè)試，基本證實(shí)了Meta的說法：“在編寫代碼的環(huán)節(jié)，它表現(xiàn)不錯(cuò)”。70億參數(shù)的模型可以在Mac上運(yùn)行，每秒處理6個(gè)字符，比Google發(fā)布的PaLM 2中最小的模型“壁虎”慢70%。然而，Google并沒有公布“壁虎”的具體參數(shù)。
根據(jù)Meta公布的信息，Llama 2的訓(xùn)練數(shù)據(jù)來源于公開數(shù)據(jù)，總量達(dá)到了2萬(wàn)億個(gè)Token（指常用單詞、標(biāo)點(diǎn)符號(hào)或數(shù)字），比第一代模型增加了40%。此外，Llama 2的上下文長(zhǎng)度擴(kuò)展到了4000個(gè)字符，對(duì)文本語(yǔ)義的理解更加準(zhǔn)確。
與OpenAI類似，Meta還通過人類反饋強(qiáng)化學(xué)習(xí)（RLHF）機(jī)制，利用100萬(wàn)條人類標(biāo)注數(shù)據(jù)訓(xùn)練了類似ChatGPT的對(duì)話應(yīng)用。這也是過去幾個(gè)月開源社區(qū)微調(diào)Llama的常用方法。Meta表示，“大型語(yǔ)言模型的出色撰寫能力從根本上是由RLHF驅(qū)動(dòng)的。”
訓(xùn)練Llama 2可能需要巨大的成本。HuggingFace的機(jī)器學(xué)習(xí)科學(xué)家內(nèi)森·蘭伯特估計(jì)，Llama 2的訓(xùn)練成本可能超過2500萬(wàn)美元，不比三年前訓(xùn)練GPT-3的成本低。他表示，有足夠的跡象表明，Meta仍在繼續(xù)訓(xùn)練更強(qiáng)大的Llama模型。
自去年末ChatGPT的發(fā)布以來，它以其富有意義的回復(fù)和強(qiáng)大的代碼編寫能力等功能震撼了世界。許多公司都在努力尋找類似的產(chǎn)品。經(jīng)過半年多的發(fā)展，從大公司到普通程序員，都能借助開源社區(qū)實(shí)現(xiàn)類似ChatGPT的應(yīng)用。根據(jù)云端開發(fā)平臺(tái)Replit的觀察，每個(gè)季度使用其服務(wù)的開源大模型項(xiàng)目數(shù)量都在翻倍增長(zhǎng)。
在諸如Llama等開源大模型的基礎(chǔ)上，開發(fā)者們還創(chuàng)建了各種開源數(shù)據(jù)集，如基于人類反饋的強(qiáng)化學(xué)習(xí)數(shù)據(jù)集，不斷提升開源大模型的能力。
根據(jù)加州大學(xué)伯克利分校、梅隆大學(xué)等高校的教授和學(xué)生創(chuàng)建的LMSYS Org的評(píng)估，過去幾個(gè)月，開源大模型與GPT-4之間的差距明顯縮小，從191分減少到最近的115分。在趕超的過程中，開源社區(qū)甚至領(lǐng)先于大公司，提供了可在電腦和手機(jī)上運(yùn)行的大模型，比谷歌早一個(gè)多月發(fā)布。
隨著Meta開源Llama 2，開源大模型社區(qū)的實(shí)力將進(jìn)一步增強(qiáng)。Meta表示，第一個(gè)不支持商業(yè)用途的開源模型版本發(fā)布后，他們收到了超過10萬(wàn)名研究人員的使用申請(qǐng)，這還不包括直接從網(wǎng)上下載模型的人。

大模型發(fā)展

“NVIDIA”的高級(jí)人工智能科學(xué)家Jim Fan表示：“由于開源許可問題，大公司的人工智能研究人員對(duì)第一個(gè)版本的Llama持謹(jǐn)慎態(tài)度，但我認(rèn)為現(xiàn)在很多人會(huì)加入這個(gè)項(xiàng)目(Llama 2)并貢獻(xiàn)他們的力量。”他還表示，即使當(dāng)前Llama 2在編程能力方面還不強(qiáng)，但開源發(fā)布后很快會(huì)追趕上來。
Llama 2發(fā)布的最大開源參數(shù)版本(700億)仍不及三年前訓(xùn)練的GPT-3一半，但效果卻優(yōu)于GPT-3，這是最好的證明之一。
開源的邏輯是，當(dāng)大型模型達(dá)到一定能力后，就擴(kuò)大了新技術(shù)的應(yīng)用范圍，讓更多人使用技術(shù)，并從廣泛應(yīng)用中改進(jìn)模型。而閉源公司如OpenAI更注重技術(shù)的先進(jìn)性，在開發(fā)強(qiáng)大模型后再推廣給更多人。
就像iOS和Android在手機(jī)操作系統(tǒng)領(lǐng)域的競(jìng)爭(zhēng)一樣，開源和閉源的競(jìng)爭(zhēng)并不都是在同一維度上直接競(jìng)爭(zhēng)，大型模型領(lǐng)域也會(huì)出現(xiàn)類似的分化。

在這種新的競(jìng)爭(zhēng)格局下，即使是谷歌也沒能保持領(lǐng)先的信心。
今年5月，Google一位高級(jí)工程師在內(nèi)部文章中表示，盡管Google在大型模型的質(zhì)量方面仍略占優(yōu)勢(shì)，但開源產(chǎn)品與Google大型模型之間的差距正在以驚人的速度縮小，開源模型的迭代速度更快，用戶可以根據(jù)不同的業(yè)務(wù)場(chǎng)景進(jìn)行定制開發(fā)，更有利于保護(hù)隱私數(shù)據(jù)，并且成本更低。
他說：“他們只需要幾周時(shí)間，就能用100美元和130億參數(shù)的模型做到我們花費(fèi)1000萬(wàn)美元和540億參數(shù)的模型很難實(shí)現(xiàn)的事情。我們沒有護(hù)城河，OpenAI也沒有。”
昨天，Meta在宣布Llama 2開源后解釋說，對(duì)于當(dāng)今人工智能模型的發(fā)展來說，開源是正確的選擇，尤其是在技術(shù)迅速發(fā)展的生產(chǎn)領(lǐng)域。他們表示，“通過向公眾提供人工智能模型，使其惠及所有人，而不僅僅是少數(shù)幾家大公司。”
在生成式人工智能領(lǐng)域，一場(chǎng)與過去不同的新型競(jìng)爭(zhēng)正在展開。開源社區(qū)憑借開放協(xié)作的力量，正以驚人的速度追趕商業(yè)巨頭們建立的領(lǐng)先優(yōu)勢(shì)。而過去習(xí)慣于技術(shù)封閉和市場(chǎng)壟斷的大公司，也在逐步擁抱開源。