AIGC動態歡迎閱讀

原標題：突發：馬斯克Grok開源！
關鍵字：模型,權重,參數,賬號,專家
文章來源：智東西
內容字數：2647字

內容摘要：

全球最大開源大模型！馬斯克Grok-1參數量3410億，正式開源。
作者|云鵬
編輯|心緣
6個月掏出3410億參數自研大模型，馬斯克說到做到！
智東西3月18日消息，就在剛剛，馬斯克的AI創企xAI正式發布了此前備受期待大模型Grok-1，其參數量達到了3140億，遠超OpenAI GPT-3.5的1750億。
這是迄今參數量最大的開源大語言模型，遵照Apache 2.0協議開放模型權重和架構。
Grok-1是一個混合專家（Mixture-of-Experts，MOE）大模型，這種MOE架構重點在于提高大模型的訓練和推理效率，形象地理解，MOE就像把各個領域的“專家”集合到了一起，遇到任務派發給不同領域的專家，最后匯總結論，提升效率。決定每個專家做什么的是被稱為“門控網絡”的機制。
xAI已經將Grok-1的權重和架構在GitHub上開源。
GitHub地址：https://github.com/xai-org/grok-1?tab=readme-ov-file
目前Grok-1的源權重數據大小大約為300GB。
截至北京時間3月18日上午7時許，Grok-1項目收獲了3400顆星。

原文鏈接：突發：馬斯克Grok開源！

聯系作者

文章來源：智東西
作者微信：zhidxcom
作者簡介：智能產業新媒體！智東西專注報道人工智能主導的前沿技術發展，和技術應用帶來的千行百業產業升級。聚焦智能變革，服務產業升級。