一條磁力鏈接席卷AI圈，87GB種子直接開源8x7B MoE模型

AIGC動態歡迎閱讀

原標題：一條磁力鏈接席卷AI圈，87GB種子直接開源8x7B MoE模型

關鍵字：專家,模型,融資,參數,公司

文章來源：機器之心

內容字數：3764字

內容摘要：機器之心報道機器之心編輯部「高端」的開源，往往采用最樸素的發布方式。昨天，Mistral AI 在 X 平臺甩出一條磁力鏈接，宣布了新的開源動作。沒有長篇官方博客，沒有刻意加速的 Demo，這家公司算是當下大模型領域的「一股清流」。打開一看，發現是接近 87 GB 的種子：參數配置什么樣？很多人放棄了周末，第一時間下載運行起來。看上去，Mistral 8x7B 使用了與 GPT-4 非常相似的架構，但是「縮小版」：8 個專家總數，而不是 16 名（減少一半）每個專家為 7B 參數，而不是 166B（減少 24 倍）42B 總參數（估計）而不是 1.8T（減少 42 倍）與原始 GPT-4 相同的 32K 上下文在發布后 24 小時內，已經有開發者做出了在線體驗網站：https://replicate.com/nateraw/mixtral-8x7b-32kseqlen有研究者稱：「閉源大模…

原文鏈接：點此閱讀原文：一條磁力鏈接席卷AI圈，87GB種子直接開源8x7B MoE模型

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺