AIGC動態(tài)歡迎閱讀

原標(biāo)題：谷歌狂卷小模型，20億參數(shù)Gemma 2趕超GPT-3.5，實(shí)測iPhone上跑得飛快
關(guān)鍵字：報告,模型,解讀,內(nèi)容,參數(shù)
文章來源：智東西
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

每秒40 Token，谷歌開源20億參數(shù)“小鋼炮”。
編譯 |香草
編輯|李水青
谷歌DeepMind的開源小模型家族，又迎來新成員！
智東西8月1日消息，今日凌晨，谷歌DeepMind開源了輕量級模型Gemma 2 2B，其在大模型競技場上的分?jǐn)?shù)超越了GPT-3.5、Llama 2 70B等更大參數(shù)的模型。
▲Gemma 2 2B
只有20億參數(shù)使得Gemma 2 2B可以輕松在手機(jī)、PC等終端設(shè)備上快速運(yùn)行。開發(fā)者實(shí)測在Google AI Studio上，其推理速度達(dá)到30~40 tokens/s。
▲開發(fā)者測試Gemma 2 2B
與Gemma 2 2B一起推出的，還有用于增強(qiáng)模型可解釋性的工具Gemma Scope，以及用于過濾有害內(nèi)容的安全分類模型ShieldGemma。
Gemma Scope基于稀疏自動編碼器（SAE）放大模型中的特定點(diǎn)，并采用JumpReLU架構(gòu)對其進(jìn)行優(yōu)化，從而幫助解析模型中處理的密集復(fù)雜信息，像一個顯微鏡一樣讓研究人員能“看到”模型內(nèi)部。
ShieldGemma則針對仇恨、騷擾、內(nèi)容、危險內(nèi)容四個危害領(lǐng)域構(gòu)建，在響應(yīng)測試中超過GPT-4等基準(zhǔn)

原文鏈接：谷歌狂卷小模型，20億參數(shù)Gemma 2趕超GPT-3.5，實(shí)測iPhone上跑得飛快

聯(lián)系作者

文章來源：智東西
作者微信：
作者簡介：