Stability、Mistral、Databricks、通義、A21 Labs開源五連招，其中三個是MoE！|大模型一周大事

AIGC動態歡迎閱讀

原標題：Stability、Mistral、Databricks、通義、A21 Labs開源五連招，其中三個是MoE！|大模型一周大事
關鍵字：報告,模型,小米,解讀,智能
文章來源：AI前線
內容字數：9176字

內容摘要：

大模型的快節奏發展，讓了解最新技術動態、積極主動學習成為每一位從業者的必修課。InfoQ研究中心期望通過每周更新大模型行業最新動態，為廣大讀者提供全面的行業回顧和要點分析。現在，讓我們回顧過去一周的大模型重大吧。 一、重點發現本周，開源領域五模型先后問世，Stability AI 開源了 Stable Code Instruct-3B，Mistral AI 宣布 Mistral 7B v0.2 Base Model， Databricks 開源了其 MoE 模型 DBRX，通義千問團隊發布 MoE 模型：Qwen1.5-MoE-A2.7B，A21 Labs 宣布開源 MoE 大模型 Jamba。其中，DBRX、Qwen1.5-MoE-A2.7B 和 Jamba 都是 MoE 模型（混合專家模型）。自從去年關于 GPT-4 的爆料和下半年 Mistral AI 開源了其 Mixtal-8×7B-MoE 模型，在廣泛的關注下，MoE 成為了大語言模型的一個重要研究方向。MoE 本質是將計算負載分配給專門處理特定任務的專家，術業有專攻，這種方式不僅有利于模型進行更高效的預訓練和推理速度，

原文鏈接：Stability、Mistral、Databricks、通義、A21 Labs開源五連招，其中三個是MoE！|大模型一周大事

聯系作者

文章來源：AI前線
作者微信：ai-front
作者簡介：面向AI愛好者、開發者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例，助你全面擁抱AIGC。