擴散模型圖像理解力刷新SOTA！字節復旦團隊提出全新「元提示」策略

AIGC動態歡迎閱讀

原標題：擴散模型圖像理解力刷新SOTA！字節復旦團隊提出全新「元提示」策略
關鍵字：字節跳動,特征,任務,模型,視覺
文章來源：新智元
內容字數：5659字

內容摘要：

新智元報道編輯：好困 桃子
【新智元導讀】過去一年擴散模型風頭正勁，徹底改變了文生圖領域！那么，擴散模型能否處理視覺感知任務？字節跳動和復旦大學技術團隊在最新研究中提出了一個簡單有效的方案。Text-to-image（T2I）擴散模型在生成高清晰度圖像方面顯示出了卓越的能力，這一成就得益于其在大規模圖像-文本對上的預訓練。
這引發了一個自然的問題：擴散模型是否可以用于解決視覺感知任務？
近期，來自字節跳動和復旦大學的技術團隊提出了一種簡單而有效的方案：利用擴散模型處理視覺感知任務。
論文地址：https://arxiv.org/abs/2312.14733
開源項目：https://github.com/fudan-zvg/meta-prompts
團隊的關鍵洞察是引入可學習的元提示（meta prompts）到預訓練的擴散模型中，以提取適合特定感知任務的特征。
技術介紹團隊將text-to-image擴散模型作為特征提取器應用于視覺感知任務中。
輸入圖像首先通過VQVAE編碼器進行圖像壓縮。這一步將圖像分辨率降低到原始大小的1/8，產生latent space中的特征表示，即。值得

原文鏈接：擴散模型圖像理解力刷新SOTA！字節復旦團隊提出全新「元提示」策略

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。