Loopy

Loopy是字節(jié)跳動推出的一款基于音頻驅(qū)動的AI視頻生成模型，能夠?qū)㈧o態(tài)照片轉(zhuǎn)化為動態(tài)視頻。該技術(shù)使得照片中的人物能夠根據(jù)輸入的音頻文件進(jìn)行面部表情和頭部動作的同步，生成自然且逼真的動態(tài)效果。Loopy采用了先進(jìn)的擴(kuò)散模型技術(shù)，無需依賴額外的空間信號或條件，能夠有效捕捉并理解長期信息，適用于娛樂、教育等多種場景。

Loopy是什么

Loopy是一款由字節(jié)跳動開發(fā)的音頻驅(qū)動AI視頻生成模型，用戶可以將靜態(tài)照片變?yōu)閯討B(tài)視頻，照片中的人物根據(jù)指定的音頻文件進(jìn)行面部表情和頭部動作的協(xié)調(diào)，創(chuàng)造出栩栩如生的動態(tài)效果。其技術(shù)基于先進(jìn)的擴(kuò)散模型，無需額外的空間信號或條件，能夠捕捉并學(xué)習(xí)長期信息，生成自然流暢的動作，適合在娛樂、教育等多個領(lǐng)域應(yīng)用。

Loopy

Loopy的主要功能

音頻驅(qū)動： Loopy能夠根據(jù)輸入的音頻文件自動生成與之同步的動態(tài)視頻。
面部動作生成： 動態(tài)視頻中的人物嘴型、眉毛、眼睛等面部部位會自然地進(jìn)行動作，仿佛在說話。
無需額外條件： 不同于一些需要額外信息的技術(shù)，Loopy可生成視頻，無需輔助輸入。
長期信息捕捉： 具備處理長期信息的能力，生成更加自然、流暢的動作效果。
多樣化的輸出： 根據(jù)輸入的音頻特征（如情感和節(jié)奏等），生成相應(yīng)的面部表情和頭部動作，展現(xiàn)多樣化的表現(xiàn)效果。

Loopy的技術(shù)原理

音頻驅(qū)動模型： Loopy的核心在于音頻驅(qū)動的視頻生成模型，能夠根據(jù)音頻信號生成與之同步的動態(tài)視頻。
擴(kuò)散模型： 采用擴(kuò)散模型技術(shù)，通過逐步引入噪聲并學(xué)習(xí)逆向過程來生成視頻數(shù)據(jù)。
時間模塊： 設(shè)計了跨片段及片段內(nèi)部的時間模塊，使得模型能夠理解并利用長期信息，從而生成更自然且連貫的動作。
音頻到潛空間轉(zhuǎn)換： 將音頻信號轉(zhuǎn)換為驅(qū)動面部動作的潛在表示。
生成： 從音頻中提取特征和長期信息，生成對應(yīng)的面部動作，如嘴型、眉毛、眼睛等部位的動態(tài)變化。

Loopy的項(xiàng)目地址

產(chǎn)品體驗(yàn)： 即夢AI – AI視頻生成 – “對口型”功能
項(xiàng)目官網(wǎng)： https://loopyavatar.github.io/
arXiv技術(shù)論文： https://arxiv.org/pdf/2409.02634

Loopy的應(yīng)用場景

社交媒體與娛樂： 為社交媒體上的照片或視頻增添動態(tài)效果，提升互動性和娛樂性。
電影與視頻制作： 制作特效，讓歷史人物“復(fù)活”，創(chuàng)造生動的視覺體驗(yàn)。
游戲開發(fā)： 為游戲中的非玩家角色（NPC）生成更真實(shí)自然的面部表情與動作。
虛擬現(xiàn)實(shí)（VR）與增強(qiáng)現(xiàn)實(shí)（AR）： 在VR或AR體驗(yàn)中，生成更加真實(shí)和沉浸式的虛擬角色。
教育與培訓(xùn)： 制作教育視頻，模擬歷史人物的演講或重現(xiàn)科學(xué)實(shí)驗(yàn)過程。
廣告與營銷： 創(chuàng)造引人注目的廣告內(nèi)容，提升廣告的吸引力和記憶度。