Follow-Your-Click是一款由騰訊公司的混元團(tuán)隊與清華大學(xué)和香港科技大學(xué)的研究人員聯(lián)合開發(fā)的圖像到視頻（Image-to-Video，簡稱I2V）生成模型。該模型的獨(dú)特之處在于，用戶僅需通過簡單的點(diǎn)擊和簡短的動作提示，即可將靜態(tài)圖像轉(zhuǎn)化為動態(tài)視頻，生成局部動畫效果，克服了以往技術(shù)只能對整個場景進(jìn)行移動的局限性。

Follow-Your-Click是什么

Follow-Your-Click是一項創(chuàng)新的圖像到視頻生成技術(shù)，旨在通過用戶友好的交互方式，讓用戶輕松地將靜態(tài)圖像動畫化。用戶可以通過點(diǎn)擊選擇感興趣的區(qū)域，并輸入簡單的動作提示，來實(shí)現(xiàn)所需的動畫效果。這種方法在動圖庫中引入了局部動畫的概念，使得用戶能夠?qū)D像中的特定部分賦予生命。

Follow-Your-Click的官網(wǎng)入口

• 官方項目主頁：https://follow-your-click.github.io/
• arXiv研究論文：https://arxiv.org/abs/2403.08268（注：源碼和Demo預(yù)計4月份上線）
• GitHub代碼庫：https://github.com/mayuelala/FollowYourClick

Follow-Your-Click的主要功能

• 直觀的用戶交互：Follow-Your-Click為用戶提供了簡潔明了的控制界面，用戶只需簡單點(diǎn)擊圖像，即可選擇動畫區(qū)域，并用簡短的描述定義動作類型。
• 局部動畫生成：用戶可以針對圖像中具體的區(qū)域進(jìn)行動畫處理，使其產(chǎn)生生動的動態(tài)效果，例如使物體微笑、搖動或移動。
• 多對象動畫支持：該模型能夠同時對圖像中的多個對象進(jìn)行動畫處理，幫助用戶創(chuàng)造更豐富和復(fù)雜的動態(tài)場景。
• 簡短動作提示：用戶只需提供簡潔的動作描述，模型便能理解并生成相應(yīng)的動畫效果，從而簡化了動畫制作的過程。
• 高質(zhì)量視頻生成：借助先進(jìn)的技術(shù)策略，如第一幀遮罩策略和基于光流的幅度控制，確保生成的視頻質(zhì)量高且真實(shí)。
• 速度控制：用戶可以精確控制動畫對象的速度，滿足多樣化的動畫需求。

Follow-Your-Click的工作原理

1. 用戶交互：用戶首先通過點(diǎn)擊圖像上的特定區(qū)域選擇需要動畫的對象，接著提供簡短的動作提示，如“搖動”或“微笑”，以定義所選區(qū)域的動畫行為。
2. 圖像分割：為了將用戶的點(diǎn)擊轉(zhuǎn)化為可用于動畫的區(qū)域掩碼，框架集成了SAM（Segment Anything）工具，以高質(zhì)量生成對象掩碼。
3. 第一幀遮罩策略：為提升視頻生成的質(zhì)量，框架采用第一幀遮罩策略，通過隨機(jī)遮罩輸入圖像的一部分，增強(qiáng)模型學(xué)習(xí)時間相關(guān)性的能力。
4. 增強(qiáng)模塊：該模塊通過新的交叉注意力層，提升模型對簡短動作提示的響應(yīng)能力。訓(xùn)練階段使用短動作提示，而推理階段則將這些提示輸入到增強(qiáng)模塊中。
5. 基于光流的幅度控制：該方法通過計算光流的平均幅度來控制強(qiáng)度，確保在所有幀中一致地應(yīng)用速率。
6. 視頻生成：在推理階段，用戶的點(diǎn)擊位置和動作提示被用于生成動畫視頻，模型結(jié)合用戶指定的區(qū)域掩碼和動作提示，生成連貫的動畫幀，同時保持輸入圖像其它部分靜止。

應(yīng)用場景

Follow-Your-Click可廣泛應(yīng)用于多個領(lǐng)域，如動畫創(chuàng)作、社交媒體內(nèi)容制作、教育培訓(xùn)等。用戶可以通過該工具輕松制作生動的教學(xué)視頻、故事動畫或社交媒體短片，提升內(nèi)容的吸引力和互動性。

常見問題

1. Follow-Your-Click的使用難度大嗎？
該工具設(shè)計為用戶友好，操作簡便，即使沒有動畫制作經(jīng)驗的用戶也能輕松上手。

2. 是否支持多種圖像格式？
Follow-Your-Click支持多種常見圖像格式，用戶可以直接上傳并進(jìn)行處理。

3. 生成的視頻質(zhì)量如何？
模型采用了先進(jìn)技術(shù)，生成的視頻質(zhì)量高且真實(shí)，能夠滿足大部分應(yīng)用需求。