PersonaTalk是一款由字節(jié)跳動(dòng)開(kāi)發(fā)的先進(jìn)視覺(jué)配音工具，基于注意力機(jī)制的雙階段框架，能夠?qū)崿F(xiàn)高保真度和個(gè)性化的唇形同步視頻合成。它不僅能確保合成視頻中的嘴型與輸入音頻精準(zhǔn)匹配，還能保留說(shuō)話(huà)者獨(dú)特的表達(dá)風(fēng)格和面部細(xì)節(jié)。PersonaTalk在視覺(jué)質(zhì)量、唇形同步精度及個(gè)性化保留方面表現(xiàn)出色，相較于現(xiàn)有技術(shù)如Wav2Lip、VideoReTalking、DINet和IP_LAP具有明顯優(yōu)勢(shì)。

PersonaTalk是什么

PersonaTalk是字節(jié)跳動(dòng)推出的一個(gè)創(chuàng)新型工具，它利用基于注意力機(jī)制的雙階段框架來(lái)實(shí)現(xiàn)個(gè)性化的視覺(jué)配音。通過(guò)精準(zhǔn)的唇形同步和獨(dú)特的說(shuō)話(huà)風(fēng)格保留，PersonaTalk為用戶(hù)提供了高質(zhì)量的視頻合成體驗(yàn)。其工作流程分為兩個(gè)階段：第一階段專(zhuān)注于風(fēng)格感知的音頻編碼和唇形同步幾何生成，第二階段則通過(guò)雙重注意力機(jī)制的面部渲染器進(jìn)行紋理渲染。PersonaTalk的表現(xiàn)超越了許多現(xiàn)有技術(shù)，能夠達(dá)到與特定人方法相媲美的效果。

PersonaTalk的主要功能

• 唇形同步：確保視頻中人物的嘴型動(dòng)作與輸入音頻精確匹配。
• 個(gè)性保留：在視頻合成過(guò)程中，保留說(shuō)話(huà)者的獨(dú)特風(fēng)格和面部特征。
• 風(fēng)格感知：通過(guò)分析說(shuō)話(huà)者的3D面部幾何信息，學(xué)習(xí)并融入其說(shuō)話(huà)風(fēng)格到音頻特征中。
• 雙重注意力面部渲染：利用Lip-Attention和Face-Attention兩個(gè)并行的注意力機(jī)制，分別處理唇部和其他面部區(qū)域的紋理渲染，生成具有豐富細(xì)節(jié)的面部圖像。

PersonaTalk的技術(shù)原理

• 幾何構(gòu)建：
  • 風(fēng)格感知音頻編碼：利用HuBERT等預(yù)訓(xùn)練模型將音頻信號(hào)轉(zhuǎn)化為豐富的語(yǔ)音表示，通過(guò)交叉注意力層將說(shuō)話(huà)風(fēng)格融入音頻特征。
  • 唇形同步幾何生成：根據(jù)風(fēng)格化的音頻特征驅(qū)動(dòng)說(shuō)話(huà)者的模板幾何形狀，通過(guò)多個(gè)交叉注意力和自注意力層生成與音頻同步的唇形幾何形狀。
• 面部渲染：
  • 幾何與紋理編碼：將參考視頻的幾何形狀和紋理編碼到潛在空間，以便后續(xù)處理。
  • 雙重注意力紋理采樣：基于兩個(gè)并行的交叉注意力層（Lip-Attention和Face-Attention），分別從不同的參考幀中采樣唇部和面部的紋理。
  • 參考幀選擇策略：為唇部和面部紋理選擇不同的參考幀，增強(qiáng)紋理采樣的多樣性和全局一致性。
  • 紋理解碼：將采樣的紋理從潛在空間解碼回像素空間，保護(hù)面部幾何結(jié)構(gòu)，生成最終的面部圖像。

PersonaTalk的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：grisoon.github.io/PersonaTalk
• arXiv技術(shù)論文：https://arxiv.org/pdf/2409.05379

PersonaTalk的應(yīng)用場(chǎng)景

• 電影和視頻制作：在電影后期制作中，PersonaTalk可為角色配音，尤其在原始錄音不滿(mǎn)意或需要更改語(yǔ)言時(shí)，生成與角色嘴型同步的配音視頻。
• 視頻游戲：在游戲開(kāi)發(fā)中，用于生成非玩家角色（NPC）的自然對(duì)話(huà)，提升游戲的沉浸體驗(yàn)。
• 虛擬助手和數(shù)字人：為虛擬助手或數(shù)字人提供更自然、真實(shí)的語(yǔ)音和面部表情同步，增強(qiáng)用戶(hù)交互體驗(yàn)。
• 語(yǔ)言學(xué)習(xí)應(yīng)用：在語(yǔ)言學(xué)習(xí)軟件中，生成教師或虛擬角色的唇形同步視頻，幫助學(xué)習(xí)者更好地模仿發(fā)音。
• 新聞和媒體廣播：用于將新聞主播的講話(huà)翻譯成不同語(yǔ)言，同時(shí)保持面部表情和嘴型，提高多語(yǔ)言廣播的自然性和準(zhǔn)確性。