手機(jī)能跑！微軟小模型擊敗Llama 2，96塊A100 GPU訓(xùn)練14天，參數(shù)規(guī)模僅27億

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：手機(jī)能跑！微軟小模型擊敗Llama 2，96塊A100 GPU訓(xùn)練14天，參數(shù)規(guī)模僅27億

關(guān)鍵字：模型,微軟,參數(shù),報(bào)告,規(guī)模

文章來源：智東西

內(nèi)容字?jǐn)?shù)：5114字

內(nèi)容摘要：以小搏大！微軟27億參數(shù)模型擊敗Llama 2、Gemini Nano 2。作者|程茜編輯|李水青智東西12月13日?qǐng)?bào)道，昨日晚間，微軟又亮出了小模型大招！微軟發(fā)布了27億參數(shù)規(guī)模的小語言模型Phi-2，經(jīng)研究人員測試，Phi-2在參數(shù)規(guī)模小于130億的模型中展示了最先進(jìn)性能。從性能表現(xiàn)看，Phi-2在Big Bench Hard（BBH）、常識(shí)推理、語言理解、數(shù)學(xué)和編碼基準(zhǔn)測試中，其平均性能得分已經(jīng)超過70億、130億參數(shù)規(guī)模的Mistral和Llama 2，在部分基準(zhǔn)測試中超過谷歌的Gemini Nano 2。Phi-2還有一大優(yōu)勢是，因?yàn)閰?shù)規(guī)模足夠小，其可以在筆記本電腦、手機(jī)等移動(dòng)設(shè)備上運(yùn)行。過去幾個(gè)月間，微軟研究院的機(jī)器學(xué)習(xí)基礎(chǔ)團(tuán)隊(duì)陸續(xù)發(fā)布了小型語言模型（SLM）Phi系列。其中，第一個(gè)模型為13億參數(shù)規(guī)模的Phi-1，官方博客稱，Phi-1在SLM中的Python編碼方面表現(xiàn)最…

原文鏈接：點(diǎn)此閱讀原文：手機(jī)能跑！微軟小模型擊敗Llama 2，96塊A100 GPU訓(xùn)練14天，參數(shù)規(guī)模僅27億

聯(lián)系作者

文章來源：智東西

作者微信：zhidxcom

作者簡介：智能產(chǎn)業(yè)新媒體！智東西專注報(bào)道人工智能主導(dǎo)的前沿技術(shù)發(fā)展，和技術(shù)應(yīng)用帶來的千行百業(yè)產(chǎn)業(yè)升級(jí)。聚焦智能變革，服務(wù)產(chǎn)業(yè)升級(jí)。