AIGC動態(tài)歡迎閱讀

動態(tài)標題：微軟亞研提出TinyMIM，用知識蒸餾改進小型ViT

關(guān)鍵字：模型,方法,特征,效果,關(guān)系

文章來源：機器之心

內(nèi)容字數(shù)：5432字

內(nèi)容摘要：機器之心專欄微軟亞洲研究院本文提出了 TinyMIM，它是第一個成功地使小模型受益于MIM預(yù)訓(xùn)練的模型。一、研究動機掩碼建模（MIM, MAE）被證明是非常有效的自監(jiān)督訓(xùn)練方法。然而，如圖 1 所示，MIM 對于更大的模型效果相對更好。當(dāng)模型很小的時候（比如 ViT-T 5M 參數(shù)，這樣的模型對于現(xiàn)實世界非常重要），MIM 甚至可能一定程度上降低模型的效果。比如用 MAE 訓(xùn)練的 ViT-L 比普…

原文鏈接：點此閱讀原文：微軟亞研提出TinyMIM，用知識蒸餾改進小型ViT

聯(lián)系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺