EDTalk – 上海交大聯合網易推出高效解耦的情感說話頭像合成模型

EDTalk是什么

EDTalk是由上海交通大學與網易共同研發的一種音頻驅動唇部同步模型。該技術能夠控制嘴型、頭部姿態和情感表情。用戶只需上傳一張照片、一段音頻及一段參考視頻，即可讓照片中的人物進行口語表達，并支持定制情感，如快樂、憤怒和悲傷等。EDTalk通過三個輕量級模塊將面部動態分解為表示嘴型、姿態和情感的潛在空間，每個空間由一組可學習的基向量構成，其線性組合定義特定的動作。這種高效的解耦訓練機制不僅提升了訓練效率，還降低了資源消耗，初學者也能輕松上手，探索創新應用。

EDTalk的主要功能

• 音頻驅動唇部同步：通過上傳的圖片和音頻，EDTalk可以驅動圖片中的人物進行口語表達，實現嘴型的精準同步。
• 自定義情感表達：EDTalk支持用戶自定義情感，如快樂、憤怒和悲傷，從而使合成視頻中的人物表情與音頻情緒高度一致。
• Audio-to-Motion模塊：該模塊能夠根據音頻輸入自動生成與音頻節奏相匹配的嘴唇動作及符合語境的表情。
• 支持視頻和音頻輸入：EDTalk能夠在視頻和音頻輸入下生成高度精準的情感表達頭像。

EDTalk的技術原理

• 高效解耦框架：EDTalk利用三個輕量級模塊將面部動態分解為三個的潛在空間，分別表示嘴型、頭部姿態和情感表情。這種解耦技術使得對面部動作的控制可以進行，互不干擾。
• 可學習的基向量表征：每個潛在空間由一組可學習的基向量構成，這些基向量的線性組合能夠定義特定的動作。這種設計使得EDTalk能夠靈活地合成具有特定嘴型、姿態和表情的講話人頭像視頻。
• 正交性和高效訓練策略：為確保各空間之間的性并加快訓練速度，EDTalk在基向量之間進行了正交處理，設計了一種高效的訓練策略，將動作責任分配給每個空間，避免依賴外部知識。

EDTalk的項目地址

• 項目官網：https://tanshuai0219.github.io/EDTalk/
• Github倉庫：https://github.com/tanshuai0219/EDTalk
• arXiv技術論文：https://arxiv.org/pdf/2404.01647

EDTalk的應用場景

• 個性化數字助理：EDTalk可用于創建個性化的數字助理，通過合成與用戶語音相匹配的動態人臉視頻，提升交互體驗。
• 影視后期制作：在影視制作中，EDTalk可用于角色對話合成，依據音頻生成與角感相符的嘴型與表情，增強角色表現力。
• 教育軟件的互動教學助手：EDTalk可以應用于教育軟件中，創建互動式的教學助手，通過情感表達提升學習體驗。
• 遠程通訊：在遠程通訊領域，EDTalk能夠提供更真實、情感共鳴的視頻交流體驗，增強溝通效果。
• 虛擬現實交互：在虛擬現實環境中，EDTalk可以用于生成帶有情感表達的虛擬角色，提升用戶的沉浸感。

常見問題

• EDTalk支持哪些輸入格式？EDTalk支持圖片、音頻和視頻作為輸入格式，用戶可以自定義這些內容以生成合成視頻。
• 使用EDTalk需要什么技術背景？雖然EDTalk的技術相對復雜，但其設計使得即使是初學者也能快速上手，進行簡單的應用探索。
• 生成的視頻質量如何？EDTalk能夠生成高質量的視頻，確保嘴型與音頻的同步，以及情感表達的自然流暢。