首個開源MoE大模型發(fā)布！7Bx8個專家，離GPT-4最近的一集

AIGC動態(tài)歡迎閱讀

原標題：首個開源MoE大模型發(fā)布！7Bx8個專家，離GPT-4最近的一集

關鍵字：模型,磁力,鏈接,專家,對比

文章來源：量子位

內容字數(shù)：3370字

內容摘要：夢晨 發(fā)自 凹非寺量子位 | 公眾號 QbitAI“取消今晚所有計劃！”，許多AI開發(fā)者決定不睡了。只因首個開源MoE大模型剛剛由Mistral AI發(fā)布。MoE架構全稱專家混合（Mixture-of-Experts），也就是傳聞中GPT-4采用的方案，可以說這是開源大模型離GPT-4最近的一集了。沒有發(fā)布會、沒有宣傳視頻，只靠一個磁力鏈接，就產(chǎn)生如此轟動效果。具體參數(shù)還得是網(wǎng)速快的人下載完之后，從配置文件里截圖發(fā)出來的：7B參數(shù)x8個專家，對每個token選擇前兩個最相關的專家來處理。以至于OpenAI創(chuàng)始成員Karpathy都吐槽，是不是少了點什么？怎么缺了一個那種排練很多次的專業(yè)范視頻，大談特談AI變革啊。至于吐槽的是誰，懂得都懂了。以及他還解釋了為什么AI社區(qū)這幾天如此活躍：最大的深度學習會議NeurIPS即將在下周開啟。MoE，開源大模型新階段？為何這款開源MoE模型如此受關注？…

原文鏈接：點此閱讀原文：首個開源MoE大模型發(fā)布！7Bx8個專家，離GPT-4最近的一集

聯(lián)系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業(yè)新突破