Llama 3.3發(fā)布、 70B反超405B！Gemini新版再登大模型競(jìng)技場(chǎng)榜單

文章轉(zhuǎn)載自「量子位」。OpenAI“雙12”剛進(jìn)行到第二天，就把大模型圈攪得好不熱鬧！一邊是Meta沒預(yù)告就發(fā)布了Llama 3.3，70B版本就能實(shí)現(xiàn)以前405B的性能。另一邊谷歌的Gemini也上線了新的實(shí)驗(yàn)版模型，再一次登上大模型競(jìng)技場(chǎng)榜首。有網(wǎng)友感嘆，o1、Llama 3.3和新版Gemini接布，馬斯克的Grok3也要來(lái)，還有GPT-4.5初露端倪……這簡(jiǎn)直是最棒的一個(gè)圣誕季。01Llama 3.3：70B實(shí)現(xiàn)405B效果Llama 3.3目前只有70B一個(gè)型號(hào)。但在指令遵循（IFEval）、數(shù)學(xué)（MATH）、推理（GPQA Diamond）等領(lǐng)域，水平都超過了七月份發(fā)布的Llama 3.1 405B。在語(yǔ)言（MMLU）、代碼（HumanEval）、長(zhǎng)文本和多語(yǔ)種能力上，成績(jī)也和Llama 3.1 405B比較接近。而在工具使用（BFCL）上，和405B的差距則顯得稍大一些。不過，Llama 3.3的使用成本要比Llama 3.1 405B低得多。雖然Llama本身是免費(fèi)的，但是各個(gè)大模型平臺(tái)的服務(wù)價(jià)格也可以作為衡量成本的一個(gè)參考。在Meta合作的平臺(tái)當(dāng)中，Llama 3.3最便宜的價(jià)格是0.1/0.4美元每百萬(wàn)輸入/輸出Token。而Llama 3.1 405B，則是1美元每百萬(wàn)輸入token，是Llama 3.3的10倍，輸出token為1.8美元，是Llama 3.3的4.5倍。Meta生成式AI團(tuán)隊(duì)領(lǐng)導(dǎo)者Ahmad Al-Dahle表示，Llama 3.3能用70B實(shí)現(xiàn)405B的效果，主要是“運(yùn)用了后訓(xùn)練技術(shù)的最新進(jìn)展”，并點(diǎn)名其中包括在線偏好優(yōu)化（online preference optimization）。Meta AI官方賬號(hào)也提到，Llama 3.3的進(jìn)步歸功于新的對(duì)齊過程和在線強(qiáng)化學(xué)習(xí)技術(shù)的進(jìn)步。目前，Llama 3.3的模型權(quán)重已在官網(wǎng)和Hugging Face上開放下載。02Gemini 迎來(lái)周歲生日Gemini 1206上線的這天，剛好是Gemini的一周歲生日。不過，從節(jié)奏和以日期命名的方式來(lái)看，Gemini更像是一次例行更新（上一個(gè)版本是1121）。當(dāng)然成績(jī)還是很不錯(cuò)的，直接登上了lmsys大模型競(jìng)技場(chǎng)的榜首。而且不只是總成績(jī)奪冠，困難提示詞、代碼、數(shù)學(xué)、創(chuàng)意寫作等各個(gè)單項(xiàng)排名也都是第一。實(shí)際上，Gemini此前有個(gè)1114版本，也當(dāng)了一周的“榜一大哥”，后來(lái)被更新的GPT-4o給比了下去?，F(xiàn)在的最新版本，又讓Gemini重新回到了榜單上的王座。此外，谷歌AI Studio產(chǎn)品負(fù)責(zé)人（原OpenAI開發(fā)者社區(qū)主管）Logan介紹，Gemini 1206擁有2百萬(wàn)token的上下文窗口，目前可通過谷歌AI Studio和Gemini API免費(fèi)使用。谷歌首席科學(xué)家Jeff Dean表示，取得這樣的成績(jī)是對(duì)Gemini生日最好的慶祝方式。不過也有網(wǎng)友給谷歌潑了盆冷水，表示o1還沒出現(xiàn)在這個(gè)榜單上，而且GPT-4.5就要來(lái)了，谷歌第一的位置恐怕很快又會(huì)被OpenAI奪走。03One More Thing除了谷歌和Meta，馬斯克xAI也被盛傳即將發(fā)布Grok 3。有網(wǎng)友發(fā)現(xiàn)，正在測(cè)試的Grok 2 mini消失了，認(rèn)為這是要發(fā)Grok 3的征兆。除了對(duì)Grok 3的猜測(cè)，還有一條更確定的消息——此前要充會(huì)員才能用的Grok，現(xiàn)在可以免費(fèi)用了。不過免費(fèi)用戶用量比較有限，每?jī)尚r(shí)只能處理10條消息，而圖片分析一天只能處理三張。有意思的是，我們?cè)嚵嗽囋儐朑rok自己，它也表示Grok 3計(jì)劃在這個(gè)月上線。但抓馬的是，點(diǎn)進(jìn)后面引用的消息源，發(fā)現(xiàn)這名博主也是問Grok之后發(fā)的帖子……那么，在這個(gè)發(fā)布密集的十二月，你最鐘意或者最期待哪一款產(chǎn)品呢？參考鏈接：[1]https://x.com/AIatMeta/status/1865079067390956006[2]https://x.com/Ahmad_Al_Dahle/status/1865071436630778109[3]https://x.com/lmarena_ai/status/1865080944455225547

更多閱讀OpenAI發(fā)布季第一天：o1完全體，200美元/月的ChatGPT Pro2024 SaaS年度觀察：AI到底是「」了SaaS，還是「改造」了SaaS？萬(wàn)字探討：如何成為一名 AI 產(chǎn)品經(jīng)理？對(duì)話flomo少楠：當(dāng)然會(huì)對(duì)AI感到恐慌，但別著急奇績(jī)創(chuàng)壇2024秋季路演，這60個(gè)AI創(chuàng)業(yè)項(xiàng)目拿到錢了全世界最懂大模型的兩個(gè)產(chǎn)品經(jīng)理，一起聊怎么產(chǎn)品轉(zhuǎn)載原創(chuàng)文章請(qǐng)?zhí)硇牛篺ounderparker