AniTalker是一個(gè)創(chuàng)新的對(duì)口型視頻生成框架，由上海交通大學(xué)X-LANCE實(shí)驗(yàn)室與思必馳AISpeech的研究團(tuán)隊(duì)共同開(kāi)發(fā)。它能夠?qū)螐堨o態(tài)人像與輸入的音頻結(jié)合，生成栩栩如生的動(dòng)畫(huà)對(duì)話視頻。該框架運(yùn)用了自監(jiān)督學(xué)習(xí)策略，可以捕捉面部的復(fù)雜動(dòng)態(tài)，包括細(xì)微的表情和頭部動(dòng)作，顯著降低了對(duì)標(biāo)記數(shù)據(jù)的需求。同時(shí)，AniTalker結(jié)合了擴(kuò)散模型與方差適配器技術(shù)，生成多樣化且可控的面部動(dòng)畫(huà)，效果接近阿里EMO和騰訊AniPortrait。

AniTalker是什么

AniTalker是一個(gè)先進(jìn)的對(duì)口型視頻生成工具，旨在通過(guò)將單張靜態(tài)人臉肖像與音頻信號(hào)相結(jié)合，創(chuàng)造出生動(dòng)的動(dòng)畫(huà)對(duì)話。該框架依靠自監(jiān)督學(xué)習(xí)來(lái)捕捉面部動(dòng)態(tài)，展現(xiàn)豐富的表情變化和頭部動(dòng)作。AniTalker通過(guò)通用表示和身份解耦技術(shù)，減少了對(duì)標(biāo)記數(shù)據(jù)的依賴，并結(jié)合擴(kuò)散模型與方差適配器，生成多樣化而可控的面部動(dòng)畫(huà)，達(dá)到自然的對(duì)話效果。

AniTalker的主要功能

• 靜態(tài)肖像動(dòng)畫(huà)化：AniTalker可以將任意一張靜態(tài)人臉圖像轉(zhuǎn)換為動(dòng)態(tài)視頻，展現(xiàn)說(shuō)話和表情變化。
• 音頻同步：該框架能夠?qū)⑤斎氲囊纛l與人物的唇動(dòng)和語(yǔ)音節(jié)奏完美同步，實(shí)現(xiàn)自然流暢的對(duì)話效果。
• 面部動(dòng)態(tài)捕捉：AniTalker不僅支持唇動(dòng)同步，還能夠模擬復(fù)雜的面部表情和細(xì)微的肌肉動(dòng)作。
• 多樣化動(dòng)畫(huà)生成：通過(guò)擴(kuò)散模型，AniTalker生成的面部動(dòng)畫(huà)具有隨機(jī)變化，增強(qiáng)了生成內(nèi)容的自然性和不可預(yù)測(cè)性。
• 實(shí)時(shí)面部動(dòng)畫(huà)控制：用戶可以通過(guò)控制信號(hào)實(shí)時(shí)調(diào)整動(dòng)畫(huà)生成，包括頭部姿勢(shì)、面部表情和眼睛等。
• 語(yǔ)音驅(qū)動(dòng)的動(dòng)畫(huà)生成：該框架支持直接使用語(yǔ)音信號(hào)生成動(dòng)畫(huà)，無(wú)需額外的視頻輸入。
• 長(zhǎng)視頻連續(xù)生成：AniTalker可以持續(xù)生成長(zhǎng)時(shí)間的動(dòng)畫(huà)視頻，適用于對(duì)話或演講等場(chǎng)景。

AniTalker的官網(wǎng)入口

• 官方項(xiàng)目主頁(yè)：https://x-lance.github.io/AniTalker/
• GitHub源碼庫(kù)：https://github.com/X-LANCE/AniTalker
• arXiv研究論文：https://arxiv.org/abs/2405.03121

AniTalker的工作原理

• 表示學(xué)習(xí)：AniTalker采用自監(jiān)督學(xué)習(xí)方法訓(xùn)練編碼器，捕捉面部動(dòng)態(tài)。這一過(guò)程涉及從視頻中提取源圖像與目標(biāo)圖像，通過(guò)重建目標(biāo)圖像來(lái)學(xué)習(xí)信息。
• 身份與解耦：為確保表示不包含身份信息，AniTalker利用度量學(xué)習(xí)和互信息最小化技術(shù)。度量學(xué)習(xí)幫助模型區(qū)分不同個(gè)體的身份特征，而互信息最小化確保編碼器專注于而非身份。
• 分層聚合層（HAL）：引入HAL（Hierarchical Aggregation Layer），增強(qiáng)編碼器對(duì)不同尺度變化的理解能力，通過(guò)平均池化層和加權(quán)和層整合來(lái)自圖像編碼器不同階段的信息。
• 生成：訓(xùn)練完成后，AniTalker能夠基于用戶控制的信號(hào)生成表示，包括視頻驅(qū)動(dòng)和語(yǔ)音驅(qū)動(dòng)兩種管道。
  • 視頻驅(qū)動(dòng)管道：使用驅(qū)動(dòng)者的視頻序列為源圖像生成動(dòng)畫(huà)，精確復(fù)制驅(qū)動(dòng)的姿勢(shì)和表情。
  • 語(yǔ)音驅(qū)動(dòng)管道：與視頻驅(qū)動(dòng)不同，語(yǔ)音驅(qū)動(dòng)方法依賴語(yǔ)音信號(hào)或其他控制信號(hào)生成視頻，實(shí)現(xiàn)與輸入音頻的同步。
• 擴(kuò)散模型和方差適配器：在語(yǔ)音驅(qū)動(dòng)方法中，AniTalker使用擴(kuò)散模型生成潛在序列，并通過(guò)方差適配器引入屬性操作，產(chǎn)生多樣化和可控的面部動(dòng)畫(huà)。
• 渲染模塊：最后，利用圖像渲染器根據(jù)生成的潛在序列逐幀渲染最終動(dòng)畫(huà)視頻。
• 訓(xùn)練和優(yōu)化：AniTalker的訓(xùn)練過(guò)程包括多個(gè)損失函數(shù)，如重建損失、感知損失、對(duì)抗損失、互信息損失和身份度量學(xué)習(xí)損失，以優(yōu)化模型性能。
• 控制屬性特征：AniTalker允許用戶調(diào)整頭部姿態(tài)和相機(jī)參數(shù)，如頭部位置和面部大小，以生成特定屬性的動(dòng)畫(huà)。

AniTalker的應(yīng)用場(chǎng)景

• 虛擬助手和客服：AniTalker能夠生成逼真的虛擬形象，用于虛擬助手或在線客服，提升交互體驗(yàn)的自然度與親和力。
• 電影和視頻制作：在電影后期制作中，AniTalker可用于生成或編輯演員的面部表情及動(dòng)作，尤其在捕捉原始表演時(shí)難以實(shí)現(xiàn)的場(chǎng)景。
• 游戲開(kāi)發(fā)：游戲開(kāi)發(fā)者可以利用AniTalker為角色創(chuàng)建真實(shí)的面部動(dòng)畫(huà)，增強(qiáng)游戲的沉浸感和角色表現(xiàn)力。
• 視頻會(huì)議：在視頻會(huì)議中，AniTalker可為參與者生成虛擬面孔，適合需要保護(hù)隱私或增添趣味的場(chǎng)合。
• 社交媒體：用戶可以借助AniTalker創(chuàng)建個(gè)性化的虛擬形象，在社交媒體上進(jìn)行互動(dòng)與分享。
• 新聞播報(bào)：AniTalker可以生成虛擬新聞主播，用于自動(dòng)化新聞播報(bào)，特別是在多語(yǔ)言播報(bào)的需求下。
• 廣告和營(yíng)銷：企業(yè)可利用AniTalker生成引人注目的虛擬角色，用于廣告宣傳或品牌代言。