產(chǎn)品名稱：FreeScale
產(chǎn)品簡介：FreeScale是南洋理工大學(xué)、阿里巴巴集團(tuán)和復(fù)旦大學(xué)推出無需微調(diào)的推理框架，提升預(yù)訓(xùn)練擴散模型生成高分辨率圖像和視頻的能力。FreeScale基于處理和融合不同尺度的信息，有效解決模型在生成超訓(xùn)練分辨率內(nèi)容時出現(xiàn)的高頻信息增加導(dǎo)致的重復(fù)模式問題。
詳細(xì)介紹：

FreeScale是什么

FreeScale是南洋理工大學(xué)、阿里巴巴集團(tuán)和復(fù)旦大學(xué)推出無需微調(diào)的推理框架，提升預(yù)訓(xùn)練擴散模型生成高分辨率圖像和視頻的能力。FreeScale基于處理和融合不同尺度的信息，有效解決模型在生成超訓(xùn)練分辨率內(nèi)容時出現(xiàn)的高頻信息增加導(dǎo)致的重復(fù)模式問題。FreeScale首次實現(xiàn)8K分辨率圖像的生成，不僅提高了生成內(nèi)容的質(zhì)量與保真度，還減少了推理時間，顯著超越了現(xiàn)有方法。

FreeScale的主要功能

• 高分辨率視覺生成：FreeScale能生成高達(dá)8K分辨率的高質(zhì)量圖像和視頻，擴展視覺擴散模型在高分辨率生成方面的能力。
• 無需微調(diào)：與傳統(tǒng)需要微調(diào)的方法不同，F(xiàn)reeScale不要求對預(yù)訓(xùn)練模型進(jìn)行額外的調(diào)整或訓(xùn)練，即可實現(xiàn)高分辨率輸出。
• 處理高頻信息：FreeScale基于提取和融合不同尺度的信息，有效管理高頻信息，減少生成內(nèi)容中的重復(fù)模式和偽影。
• 多尺度信息融合：基于結(jié)合不同感受野尺度的信息，F(xiàn)reeScale優(yōu)化局部和全局細(xì)節(jié)的生成，提升視覺內(nèi)容的整體質(zhì)量。
• 靈活控制細(xì)節(jié)級別：用戶能根據(jù)需要調(diào)整不同區(qū)域的細(xì)節(jié)級別，實現(xiàn)更精細(xì)的視覺效果控制。

FreeScale的技術(shù)原理

• 定制自級聯(lián)上采樣：從純高斯噪聲開始，逐步去噪，用訓(xùn)練分辨率生成圖像，基于上采樣獲得更高分辨率的圖像。
• 受約束的膨脹卷積：為擴大卷積的感受野并減少局部重復(fù)問題，F(xiàn)reeScale在特定的網(wǎng)絡(luò)層中用膨脹卷積。
• 尺度融合：在去噪過程中，調(diào)整自注意力層，使其同時具有全局和局部注意力結(jié)構(gòu)，基于高斯模糊融合自全局注意力的高頻細(xì)節(jié)和來自局部注意力的低頻語義。
• 頻率成分提取與融合：基于提取所需的頻率成分并進(jìn)行融合，優(yōu)化高分辨率生成質(zhì)量，減少高頻信息引發(fā)的重復(fù)模式問題。
• 細(xì)節(jié)級別控制：調(diào)整生成細(xì)節(jié)的級別，基于縮放余弦衰減因子控制新生成細(xì)節(jié)的級別，實現(xiàn)對不同語義區(qū)域的細(xì)節(jié)進(jìn)行差異化處理。

FreeScale的項目地址

• 項目官網(wǎng)：haonanqiu.com/projects/FreeScale
• GitHub倉庫：https://github.com/ali-vilab/FreeScale
• arXiv技術(shù)論文：https://arxiv.org/pdf/2412.09626

FreeScale的應(yīng)用場景

• 高質(zhì)量圖像生成：在藝術(shù)創(chuàng)作和數(shù)字娛樂領(lǐng)域，生成高分辨率的藝術(shù)作品、游戲紋理和3D模型的貼圖。
• 視頻內(nèi)容制作：在電影和視頻制作中，生成高分辨率的視頻內(nèi)容，提高視頻質(zhì)量，減少后期制作的成本和時間。
• 虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）：在VR和AR應(yīng)用中，生成高分辨率的虛擬環(huán)境和對象，提升用戶體驗。
• 廣告和營銷：創(chuàng)建吸引人的廣告圖像和視頻，提高廣告的視覺沖擊力和吸引力。
• 社交媒體內(nèi)容：社交媒體用戶生成高分辨率的圖片和視頻，用在個人品牌建設(shè)或內(nèi)容分享。