擴散模型訓練方法一直錯了！謝賽寧：Representation matters

AIGC動態歡迎閱讀

原標題：擴散模型訓練方法一直錯了！謝賽寧：Representation matters
關鍵字：表征,模型,報告,編碼器,視覺
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：Panda、小舟Representation matters. Representation matters. Representation matters.是什么讓紐約大學著名研究者謝賽寧三連呼喊「Representation matters」？他表示：「我們可能一直都在用錯誤的方法訓練擴散模型。」即使對生成模型而言，表征也依然有用?；诖?，他們提出了 REPA，即表征對齊技術，其能讓「訓練擴散 Transformer 變得比你想象的更簡單?！筜ann LeCun 也對他們的研究表示了認可：「我們知道，當使用自監督學習訓練視覺編碼器時，使用具有重構損失的解碼器的效果遠不如使用具有特征預測損失和崩潰預防機制的聯合嵌入架構。這篇來自紐約大學 @sainingxie 的論文表明，即使你只對生成像素感興趣（例如使用擴散 Transformer 生成漂亮圖片），也應該包含特征預測損失，以便解碼器的內部表征可以根據預訓練的視覺編碼器（例如 DINOv2）預測特征?！刮覀冎溃谏筛呔S視覺數據方面，基于去噪的生成模型（如擴展模型和基于流的模型）的表現非常好，已經得到了廣泛應用

原文鏈接：擴散模型訓練方法一直錯了！謝賽寧：Representation matters

聯系作者

文章來源：機器之心
作者微信：
作者簡介：