One Shot, One Talk：中科大與香港理工攜手打造創新動態圖像生成技術，實現實時創作與智能化設計

One Shot，One Talk是前沿的圖像生成技術，能夠從單張圖片中創造出具有個性化細節的全身動態說話頭像。該技術實現了生動的動畫效果，包括自然的面部表情與靈活的身體動作，致力于提升虛擬交流的真實感。由中國科學技術大學與香港理工大學的研究團隊聯合推出，One Shot，One Talk結合了姿勢引導的圖像到視頻擴散模型和3DGS-mesh混合頭像表示，能夠對新姿勢和表情進行有效泛化，憑借一張照片便可生成栩栩如生的動態說話頭像。

One Shot，One Talk是什么

One Shot，One Talk是一項創新的圖像生成技術，能夠從單一圖像中重建出動態說話的全身頭像。它支持逼真的動畫效果，涵蓋自然的面部表情變化和生動的身體動作。該技術由中國科學技術大學與香港理工大學的研究人員團隊共同開發，利用姿勢引導的圖像到視頻擴散模型與3DGS-mesh混合頭像表示，確保了對新姿勢與表情的廣泛適應性，可以通過一張圖片生成真實、可動且富有表情的全身動態頭像。

One Shot，One Talk的主要功能

• 單圖像重建：能夠從單張圖片中重現全身動態說話頭像。
• 逼真動畫：提供包括身體動作和面部表情在內的真實動畫效果。
• 個性化細節：精準捕捉并再現人物的獨特特征和細節。
• 精確控制：允許用戶對頭像的姿勢和表情進行精確調節。
• 泛化能力：具備泛化到新姿勢和表情的能力，即使在訓練過程中未曾見過。

One Shot，One Talk的技術原理

• 姿勢引導的圖像到視頻擴散模型：通過生成不完美的視頻幀作為偽標簽來實現對新姿勢和表情的泛化。
• 3DGS-mesh混合頭像表示：結合3D高斯模型（3DGS）和參數化網格模型（如SMPL-X），增強頭像的表現力和真實感。
• 關鍵正則化技術：采用正則化技術，降低偽標簽引起的不一致性，確保頭像結構與動態建模的精準度。
• 偽標簽生成：利用TED Gesture Dataset等數據集驅動預訓練模型，生成目標人物執行不同姿勢和表情的視頻序列。
• 損失函數和約束：設計多種損失函數和約束項，包括感知損失（如LPIPS）和像素級損失，從輸入圖像和偽標簽中有效提取信息，穩定頭像重建過程。
• 優化和訓練：采用Adam優化器進行訓練，基于精細設計的損失權重平衡各種損失函數，確保頭像重建效果的最優化。

One Shot，One Talk的項目地址

• 項目官網：xiangjun-xj.github.io/OneShotOneTalk
• arXiv技術論文：https://arxiv.org/pdf/2412.01106

One Shot，One Talk的應用場景

• 增強現實（AR）和虛擬現實（VR）：在AR/VR應用中，創建真實的虛擬角色，提升用戶的沉浸感與互動體驗。
• 遠程會議和遠程呈現：利用生成的動態頭像，在遠程會議中實現更自然、高效的溝通。
• 游戲和娛樂：在游戲和電影制作中，快速生成或定制角色，減少傳統動作捕捉和建模所需的時間與成本。
• 社交媒體和內容創作：用戶能夠創建個性化的虛擬形象，用于社交媒體平臺或作為虛擬主播進行創作。
• 教育和培訓：在虛擬教學環境中，教師通過逼真的虛擬形象增強遠程教學效果。

常見問題

• One Shot，One Talk支持哪些圖像格式？：該技術支持多種常見圖像格式，如JPEG和PNG。
• 生成的動態頭像可以用于商業用途嗎？：是的，用戶可根據需求將生成的頭像用于商業和個人項目。
• 技術的學習曲線如何？：One Shot，One Talk的用戶界面友好，適合不同水平的用戶使用。
• 如何獲取技術支持？：用戶可通過項目官網聯系技術支持團隊，獲取幫助和指導。