微軟亞研提出TinyMIM,用知識蒸餾改進小型ViT
AIGC動態(tài)歡迎閱讀
動態(tài)標題:微軟亞研提出TinyMIM,用知識蒸餾改進小型ViT
關(guān)鍵字:模型,方法,特征,效果,關(guān)系
文章來源:機器之心
內(nèi)容字數(shù):5432字
內(nèi)容摘要:機器之心專欄微軟亞洲研究院本文提出了 TinyMIM,它是第一個成功地使小模型受益于MIM預(yù)訓(xùn)練的模型。一、研究動機掩碼建模(MIM, MAE)被證明是非常有效的自監(jiān)督訓(xùn)練方法。然而,如圖 1 所示,MIM 對于更大的模型效果相對更好。當(dāng)模型很小的時候(比如 ViT-T 5M 參數(shù),這樣的模型對于現(xiàn)實世界非常重要),MIM 甚至可能一定程度上降低模型的效果。比如用 MAE 訓(xùn)練的 ViT-L 比普…
原文鏈接:點此閱讀原文:微軟亞研提出TinyMIM,用知識蒸餾改進小型ViT
聯(lián)系作者
文章來源:機器之心
作者微信:almosthuman2014
作者簡介:專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺
? 版權(quán)聲明
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載。
相關(guān)文章
暫無評論...