AIGC動態(tài)歡迎閱讀

原標題：知名AI研究者深挖谷歌Gemma：參數(shù)不止70億，設(shè)計原則很獨特
關(guān)鍵字：報告,模型,權(quán)重,線性,參數(shù)
文章來源：機器之心
內(nèi)容字數(shù)：4547字

內(nèi)容摘要：

機器之心報道
編輯：陳萍、杜偉想要了解谷歌 Gemma 與 Llama 2、Mistral 有哪些異同嗎？這篇文章值得一讀。就在幾天前，開源大模型領(lǐng)域迎來了重磅新玩家：谷歌推出了全新的開源模型系列「Gemma」。相比 Gemini，Gemma 更加輕量，同時保持免費可用，模型權(quán)重也一并開源了，且允許商用。谷歌發(fā)布了包含兩種權(quán)重規(guī)模的模型：Gemma 2B 和 Gemma 7B。盡管體量較小，但 Gemma 已經(jīng)「在關(guān)鍵基準測試中明顯超越了更大的模型」，包括 Llama-2 7B 和 13B，以及風頭正勁的 Mistral 7B。與此同時，關(guān)于 Gemma 的技術(shù)報告也一并放出。相信大家已經(jīng)對 Gemma 的相關(guān)內(nèi)容進行了系統(tǒng)研究，本文知名機器學習與 AI 研究者 Sebastian Raschka 向我們介紹了 Gemma 相比于其他 LLM 的一些獨特設(shè)計原則。
Raschka 首先從模型性能展開，他表示看過技術(shù)報告的小伙伴可能都有一個疑問，是什么讓 Gemma 表現(xiàn)如此出色？論文中沒有明確說明原因，Sebastian Raschka 認為可以從下面兩點得出結(jié)論：
首先是詞匯量大，G

原文鏈接：知名AI研究者深挖谷歌Gemma：參數(shù)不止70億，設(shè)計原則很獨特

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺