MT-Color – 上海交大聯(lián)合嗶哩嗶哩推出的可控圖像著色框架

MT-Color是什么

MT-Color是由上海交通大學(xué)與嗶哩嗶哩合作開發(fā)的一種基于擴(kuò)散模型的可控圖像著色框架。該技術(shù)通過用戶提供的實(shí)例感知文本和掩碼，以實(shí)現(xiàn)精準(zhǔn)的實(shí)例級圖像著色。MT-Color采用像素級掩碼注意力機(jī)制來有效防止色彩溢出，同時利用實(shí)例掩碼和文本引導(dǎo)模塊解決色彩綁定錯誤的問題，并通過多實(shí)例采樣策略來增強(qiáng)實(shí)例感知效果。該框架還構(gòu)建了GPT-Color數(shù)據(jù)集，提供高質(zhì)量的實(shí)例級注釋，支持更為細(xì)致的圖像著色任務(wù)。MT-Color在色彩準(zhǔn)確性和視覺效果上超越了現(xiàn)有的技術(shù)，使生成的圖像更符合人類的視覺感知。

MT-Color的主要功能

• 精準(zhǔn)的實(shí)例級著色：根據(jù)用戶提供的實(shí)例掩碼和文本描述，針對圖像中的不同對象進(jìn)行精確著色，確保每個對象的顏色與其描述相符。
• 有效防止色彩溢出：通過像素級掩碼注意力機(jī)制，有效避免色彩在不同對象之間的錯誤擴(kuò)散，從而保持顏色的邊界清晰。
• 高質(zhì)量的色彩生成：生成的彩像色彩豐富自然，分辨率達(dá)到512×512，細(xì)節(jié)更為清晰。
• 靈活的用戶控制：用戶可以通過文本描述和掩碼，對圖像的著色過程進(jìn)行精細(xì)調(diào)控，以滿足不同的著色需求。
• 數(shù)據(jù)集支持：構(gòu)建專門的GPT-Color數(shù)據(jù)集，提供高質(zhì)量的實(shí)例級注釋，以支持更精細(xì)的圖像著色任務(wù)。

MT-Color的技術(shù)原理

• 像素級掩碼注意力機(jī)制：將ControlNet提取的灰度圖像特征與Stable Diffusion的潛在特征通過像素級交叉注意力機(jī)制進(jìn)行對齊，有效防止不同實(shí)例間的像素信息交互，從而緩解色彩溢出問題。利用分割掩碼構(gòu)建交叉注意力掩碼，確保不同實(shí)例間的像素信息不相互干擾。
• 實(shí)例掩碼和文本引導(dǎo)模塊：提取每個實(shí)例的掩碼與文本表示，并通過自注意力機(jī)制與潛在特征融合，形成自注意力掩碼，避免實(shí)例文本對其他區(qū)域的引導(dǎo)，減少色彩綁定錯誤。
• 多實(shí)例采樣策略：在采樣過程中，對每個實(shí)例區(qū)域分別進(jìn)行采樣并融合結(jié)果，進(jìn)一步增強(qiáng)實(shí)例感知的著色效果。
• GPT-Color數(shù)據(jù)集：基于預(yù)訓(xùn)練的視覺語言模型（如GPT-4和BLIP-2），在現(xiàn)有圖像數(shù)據(jù)集上自動生成高質(zhì)量的實(shí)例級注釋，包括細(xì)致的文本描述和相應(yīng)的分割掩碼，為模型訓(xùn)練提供豐富的訓(xùn)練數(shù)據(jù)。

MT-Color的項目地址

• arXiv技術(shù)論文：https://arxiv.org/pdf/2505.08705

MT-Color的應(yīng)用場景

• 歷史照片修復(fù)：為黑白歷史照片增添生動的色彩，提升其觀賞性和歷史感。
• 影視后期制作：修復(fù)和增強(qiáng)黑白或低質(zhì)量彩色鏡頭，提升視覺效果。
• 藝術(shù)創(chuàng)作：協(xié)助藝術(shù)家為黑白草圖或插畫添加色彩，激發(fā)創(chuàng)意。
• 醫(yī)學(xué)圖像處理：為醫(yī)學(xué)圖像增添色彩，以提高其診斷價值。
• 教育領(lǐng)域：為教學(xué)材料中的黑白圖像增添色彩，增強(qiáng)學(xué)習(xí)體驗(yàn)。

常見問題

• MT-Color支持哪些格式的輸入？：MT-Color支持用戶上傳的圖像和相應(yīng)的文本描述以及掩碼。
• 如何使用MT-Color進(jìn)行圖像著色？：用戶只需提供所需圖像的掩碼和描述，系統(tǒng)會自動生成著色結(jié)果。
• 生成的圖像質(zhì)量如何？：MT-Color生成的圖像色彩豐富且自然，且分辨率高，能夠清晰呈現(xiàn)細(xì)節(jié)。
• 適合哪些行業(yè)使用？：MT-Color適用于歷史修復(fù)、影視制作、藝術(shù)創(chuàng)作、醫(yī)學(xué)圖像處理及教育等多個領(lǐng)域。