AIGC動態歡迎閱讀
原標題:小模型站起來了,瀏覽器里跑出SOTA,抱抱臉:快逃,合成數據不是未來
關鍵字:模型,數據,團隊,性能,微軟
文章來源:量子位
內容字數:0字
內容摘要:
夢晨 發自 凹非寺量子位 | 公眾號 QbitAI瀏覽器里直接能跑的SOTA小模型來了,分別在2億、5億和20億級別獲勝,抱抱臉出品。
秘訣只有兩個:
狠狠地過濾數據
在高度過濾的數據集上狠狠地訓練
抱抱臉首席科學家Thomas Wolf,總結團隊在開發小模型時的經驗,拋出新觀點,引起業界關注:
合成數據目前只在特定領域有用,網絡是如此之大和多樣化,真實數據的潛力還沒完全發揮。
目前360M模型版本已發布Demo,在線可玩(注意流量)。
在瀏覽器里調用本地GPU運行,連模型權重帶網頁前端UI,400MB搞定。
嚴格過濾網絡數據,性能直線上升針對微軟Phi系列小模型,聲稱使用了一半合成數據,效果很好,但不公開數據。
開源界扛把子抱抱臉看不下去了:
造一個對標的大型合成數據集,開源它。
而且,團隊隱隱暗示了,此舉也有檢驗微軟在測試集上刷榜的傳聞,到底有沒有這回事的考慮。
抱抱臉使用當時最好的開源模型Mixtral-8-7B構造了25B合成數據。
訓練出來的模型效果還不錯,但仍然在某種程度上低于Phi-1和Phi-1.5的水平。
他們嘗試了讓大模型在中學水平上解釋各種主題,最終只有在MMLU
原文鏈接:小模型站起來了,瀏覽器里跑出SOTA,抱抱臉:快逃,合成數據不是未來
聯系作者
文章來源:量子位
作者微信:
作者簡介:
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...