AIGC動態歡迎閱讀

原標題：小模型站起來了，瀏覽器里跑出SOTA，抱抱臉：快逃，合成數據不是未來
關鍵字：模型,數據,團隊,性能,微軟
文章來源：量子位
內容字數：0字

內容摘要：

夢晨 發自 凹非寺量子位 | 公眾號 QbitAI瀏覽器里直接能跑的SOTA小模型來了，分別在2億、5億和20億級別獲勝，抱抱臉出品。
秘訣只有兩個：
狠狠地過濾數據
在高度過濾的數據集上狠狠地訓練
抱抱臉首席科學家Thomas Wolf，總結團隊在開發小模型時的經驗，拋出新觀點，引起業界關注：
合成數據目前只在特定領域有用，網絡是如此之大和多樣化，真實數據的潛力還沒完全發揮。
目前360M模型版本已發布Demo，在線可玩（注意流量）。
在瀏覽器里調用本地GPU運行，連模型權重帶網頁前端UI，400MB搞定。
嚴格過濾網絡數據，性能直線上升針對微軟Phi系列小模型，聲稱使用了一半合成數據，效果很好，但不公開數據。
開源界扛把子抱抱臉看不下去了：
造一個對標的大型合成數據集，開源它。
而且，團隊隱隱暗示了，此舉也有檢驗微軟在測試集上刷榜的傳聞，到底有沒有這回事的考慮。
抱抱臉使用當時最好的開源模型Mixtral-8-7B構造了25B合成數據。
訓練出來的模型效果還不錯，但仍然在某種程度上低于Phi-1和Phi-1.5的水平。
他們嘗試了讓大模型在中學水平上解釋各種主題，最終只有在MMLU

原文鏈接：小模型站起來了，瀏覽器里跑出SOTA，抱抱臉：快逃，合成數據不是未來

聯系作者

文章來源：量子位
作者微信：
作者簡介：