Follow-Your-Click

Follow-Your-Click是一款由騰訊公司的混元團(tuán)隊(duì)與清華大學(xué)和香港科技大學(xué)的研究人員聯(lián)合開發(fā)的圖像到視頻（Image-to-Video，簡稱I2V）生成模型。該模型的獨(dú)特之處在于，用戶僅需通過簡單的點(diǎn)擊和簡短的動(dòng)作提示，即可將靜態(tài)圖像轉(zhuǎn)化為動(dòng)態(tài)視頻，生成局部動(dòng)畫效果，克服了以往技術(shù)只能對整個(gè)場景進(jìn)行移動(dòng)的局限性。

Follow-Your-Click是什么

Follow-Your-Click是一項(xiàng)創(chuàng)新的圖像到視頻生成技術(shù)，旨在通過用戶友好的交互方式，讓用戶輕松地將靜態(tài)圖像動(dòng)畫化。用戶可以通過點(diǎn)擊選擇感興趣的區(qū)域，并輸入簡單的動(dòng)作提示，來實(shí)現(xiàn)所需的動(dòng)畫效果。這種方法在動(dòng)圖庫中引入了局部動(dòng)畫的概念，使得用戶能夠?qū)D像中的特定部分賦予生命。

Follow-Your-Click的官網(wǎng)入口

• 官方項(xiàng)目主頁：https://follow-your-click.github.io/
• arXiv研究論文：https://arxiv.org/abs/2403.08268（注：源碼和Demo預(yù)計(jì)4月份上線）
• GitHub代碼庫：https://github.com/mayuelala/FollowYourClick

Follow-Your-Click的主要功能

• 直觀的用戶交互：Follow-Your-Click為用戶提供了簡潔明了的控制界面，用戶只需簡單點(diǎn)擊圖像，即可選擇動(dòng)畫區(qū)域，并用簡短的描述定義動(dòng)作類型。
• 局部動(dòng)畫生成：用戶可以針對圖像中具體的區(qū)域進(jìn)行動(dòng)畫處理，使其產(chǎn)生生動(dòng)的動(dòng)態(tài)效果，例如使物體微笑、搖動(dòng)或移動(dòng)。
• 多對象動(dòng)畫支持：該模型能夠同時(shí)對圖像中的多個(gè)對象進(jìn)行動(dòng)畫處理，幫助用戶創(chuàng)造更豐富和復(fù)雜的動(dòng)態(tài)場景。
• 簡短動(dòng)作提示：用戶只需提供簡潔的動(dòng)作描述，模型便能理解并生成相應(yīng)的動(dòng)畫效果，從而簡化了動(dòng)畫制作的過程。
• 高質(zhì)量視頻生成：借助先進(jìn)的技術(shù)策略，如第一幀遮罩策略和基于光流的幅度控制，確保生成的視頻質(zhì)量高且真實(shí)。
• 速度控制：用戶可以精確控制動(dòng)畫對象的速度，滿足多樣化的動(dòng)畫需求。

Follow-Your-Click的工作原理

1. 用戶交互：用戶首先通過點(diǎn)擊圖像上的特定區(qū)域選擇需要?jiǎng)赢嫷膶ο螅又峁┖喍痰膭?dòng)作提示，如“搖動(dòng)”或“微笑”，以定義所選區(qū)域的動(dòng)畫行為。
2. 圖像分割：為了將用戶的點(diǎn)擊轉(zhuǎn)化為可用于動(dòng)畫的區(qū)域掩碼，框架集成了SAM（Segment Anything）工具，以高質(zhì)量生成對象掩碼。
3. 第一幀遮罩策略：為提升視頻生成的質(zhì)量，框架采用第一幀遮罩策略，通過隨機(jī)遮罩輸入圖像的一部分，增強(qiáng)模型學(xué)習(xí)時(shí)間相關(guān)性的能力。
4. 增強(qiáng)模塊：該模塊通過新的交叉注意力層，提升模型對簡短動(dòng)作提示的響應(yīng)能力。訓(xùn)練階段使用短動(dòng)作提示，而推理階段則將這些提示輸入到增強(qiáng)模塊中。
5. 基于光流的幅度控制：該方法通過計(jì)算光流的平均幅度來控制強(qiáng)度，確保在所有幀中一致地應(yīng)用速率。
6. 視頻生成：在推理階段，用戶的點(diǎn)擊位置和動(dòng)作提示被用于生成動(dòng)畫視頻，模型結(jié)合用戶指定的區(qū)域掩碼和動(dòng)作提示，生成連貫的動(dòng)畫幀，同時(shí)保持輸入圖像其它部分靜止。

應(yīng)用場景

Follow-Your-Click可廣泛應(yīng)用于多個(gè)領(lǐng)域，如動(dòng)畫創(chuàng)作、社交媒體內(nèi)容制作、教育培訓(xùn)等。用戶可以通過該工具輕松制作生動(dòng)的教學(xué)視頻、故事動(dòng)畫或社交媒體短片，提升內(nèi)容的吸引力和互動(dòng)性。

常見問題

1. Follow-Your-Click的使用難度大嗎？
該工具設(shè)計(jì)為用戶友好，操作簡便，即使沒有動(dòng)畫制作經(jīng)驗(yàn)的用戶也能輕松上手。

2. 是否支持多種圖像格式？
Follow-Your-Click支持多種常見圖像格式，用戶可以直接上傳并進(jìn)行處理。

3. 生成的視頻質(zhì)量如何？
模型采用了先進(jìn)技術(shù)，生成的視頻質(zhì)量高且真實(shí)，能夠滿足大部分應(yīng)用需求。