EDTalk – 上海交大聯(lián)合網(wǎng)易推出高效解耦的情感說話頭像合成模型

EDTalk是什么

EDTalk是由上海交通大學與網(wǎng)易共同研發(fā)的一種音頻驅(qū)動唇部同步模型。該技術能夠控制嘴型、頭部姿態(tài)和情感表情。用戶只需上傳一張照片、一段音頻及一段參考視頻，即可讓照片中的人物進行口語表達，并支持定制情感，如快樂、憤怒和悲傷等。EDTalk通過三個輕量級模塊將面部動態(tài)分解為表示嘴型、姿態(tài)和情感的潛在空間，每個空間由一組可學習的基向量構成，其線性組合定義特定的動作。這種高效的解耦訓練機制不僅提升了訓練效率，還降低了資源消耗，初學者也能輕松上手，探索創(chuàng)新應用。

EDTalk的主要功能

• 音頻驅(qū)動唇部同步：通過上傳的圖片和音頻，EDTalk可以驅(qū)動圖片中的人物進行口語表達，實現(xiàn)嘴型的精準同步。
• 自定義情感表達：EDTalk支持用戶自定義情感，如快樂、憤怒和悲傷，從而使合成視頻中的人物表情與音頻情緒高度一致。
• Audio-to-Motion模塊：該模塊能夠根據(jù)音頻輸入自動生成與音頻節(jié)奏相匹配的嘴唇動作及符合語境的表情。
• 支持視頻和音頻輸入：EDTalk能夠在視頻和音頻輸入下生成高度精準的情感表達頭像。

EDTalk的技術原理

• 高效解耦框架：EDTalk利用三個輕量級模塊將面部動態(tài)分解為三個的潛在空間，分別表示嘴型、頭部姿態(tài)和情感表情。這種解耦技術使得對面部動作的控制可以進行，互不干擾。
• 可學習的基向量表征：每個潛在空間由一組可學習的基向量構成，這些基向量的線性組合能夠定義特定的動作。這種設計使得EDTalk能夠靈活地合成具有特定嘴型、姿態(tài)和表情的講話人頭像視頻。
• 正交性和高效訓練策略：為確保各空間之間的性并加快訓練速度，EDTalk在基向量之間進行了正交處理，設計了一種高效的訓練策略，將動作責任分配給每個空間，避免依賴外部知識。

EDTalk的項目地址

• 項目官網(wǎng)：https://tanshuai0219.github.io/EDTalk/
• Github倉庫：https://github.com/tanshuai0219/EDTalk
• arXiv技術論文：https://arxiv.org/pdf/2404.01647

EDTalk的應用場景

• 個性化數(shù)字助理：EDTalk可用于創(chuàng)建個性化的數(shù)字助理，通過合成與用戶語音相匹配的動態(tài)人臉視頻，提升交互體驗。
• 影視后期制作：在影視制作中，EDTalk可用于角色對話合成，依據(jù)音頻生成與角感相符的嘴型與表情，增強角色表現(xiàn)力。
• 教育軟件的互動教學助手：EDTalk可以應用于教育軟件中，創(chuàng)建互動式的教學助手，通過情感表達提升學習體驗。
• 遠程通訊：在遠程通訊領域，EDTalk能夠提供更真實、情感共鳴的視頻交流體驗，增強溝通效果。
• 虛擬現(xiàn)實交互：在虛擬現(xiàn)實環(huán)境中，EDTalk可以用于生成帶有情感表達的虛擬角色，提升用戶的沉浸感。

常見問題

• EDTalk支持哪些輸入格式？EDTalk支持圖片、音頻和視頻作為輸入格式，用戶可以自定義這些內(nèi)容以生成合成視頻。
• 使用EDTalk需要什么技術背景？雖然EDTalk的技術相對復雜，但其設計使得即使是初學者也能快速上手，進行簡單的應用探索。
• 生成的視頻質(zhì)量如何？EDTalk能夠生成高質(zhì)量的視頻，確保嘴型與音頻的同步，以及情感表達的自然流暢。