INFP：基于音頻驅動的真實感面部表情與頭部姿態生成AI框架

INFP是一種音頻驅動的頭部生成框架，專為雙人對話交互而設計，能夠在對話音頻的引導下自動進行角色的轉換，無需手動干預。該框架由兩個階段組成：基于動作的頭部模仿階段和音頻引導的動作生成階段，經過實驗和可視化分析，驗證了其卓越的性能和有效性。此外，INFP還提出了一個大規模的雙人對話數據集DyConv，以促進該研究領域的進一步發展。

INFP是什么

INFP是一種音頻驅動的頭部生成框架，旨在提升雙人對話交互的體驗。該系統能夠自動識別并轉換對話中的角色，省去手動分配角色和角色切換的繁瑣過程。INFP由兩個主要階段構成：第一階段是基于動作的頭部模仿，而第二階段則是音頻引導的動作生成。通過實驗和可視化結果，INFP顯示出其在此領域的優越性和實用性。此外，INFP還推出了大規模雙人對話數據集DyConv，以支持相關研究的進步。

INFP的主要功能

• 自動角色轉換：在雙人對話中，INFP能夠自動識別并切換角色，提升交互的自然性和流暢性，無需用戶手動操作。
• 高效輕量：INFP不僅功能強大，且具備輕量化特性。在Nvidia Tesla A10上，其推理速度超過40 fps，支持實時智能代理交互，適用于代理之間或人與代理的溝通。
• 交互式頭部生成：INFP的兩個關鍵階段包括基于的頭部模仿和音頻引導的生成。第一階段將真實對話視頻中的面部交流行為編碼為低維潛在空間，第二階段則將音頻輸入映射到這些潛在代碼，從而實現音頻驅動的頭部生成。
• 大規模雙人對話數據集DyConv：為推動該領域的研究，INFP推出了DyConv數據集，收錄了來自互聯網的豐富雙人對話樣本。

INFP的技術原理

• 基于的頭部模仿階段：在此階段，框架通過學習將實際對話視頻中的面部交流行為映射到低維潛在空間，從而提取出可用于驅動靜態圖像動畫的潛在代碼。
• 音頻引導生成階段：在此階段，框架實現了從輸入雙通道音頻到潛在代碼的映射，通過去噪處理，為交互場景提供音頻驅動的頭部生成。
• 實時互動與風格控制：INFP支持實時互動，用戶可以隨時打斷或回應虛擬形象。此外，INFP還能夠提取任意肖像視頻的風格向量，實現對生成結果中情緒或態度的全局控制。

INFP的項目地址

• 項目官網：https://grisoon.github.io/INFP/
• arXiv技術論文：https://www.arxiv.org/pdf/2412.04037

INFP的應用場景

• 視頻會議與虛擬助手：INFP框架能夠實現高度真實感、交互性和實時性，適合于視頻會議和虛擬助手等實時場景，提供更自然流暢的交互體驗。
• 社交媒體與互動娛樂：在社交媒體和互動娛樂應用中，INFP可用于生成自然表情和頭部動作的交互式頭像，提升用戶的互動體驗。
• 教育培訓：INFP能夠創建虛擬教師或培訓師，提供生動且互動的教學體驗。
• 客戶服務：在客戶服務領域，INFP可用于生成虛擬客服代表，提供更加人性化的服務體驗。
• 廣告與營銷：INFP可以用于創建吸引人的虛擬代言人，增強廣告和營銷活動的互動性和真實感。
• 游戲與模擬：在游戲和模擬環境中，INFP可以創建更加真實和互動的角色，提升游戲的沉浸感和互動性。

常見問題

關于INFP的使用和功能，用戶常常會有以下疑問：

• INFP適合哪些平臺？：INFP設計適用于多種平臺，包括PC和移動設備，能夠在多種環境中提供良好的用戶體驗。
• 如何獲取INFP的相關資源？：用戶可以通過訪問INFP的官方網站和arXiv技術論文獲取相關資源和文檔。
• 是否需要專業知識才能使用INFP？：雖然INFP的設計考慮到了用戶的易用性，但具備一定的技術背景將有助于更好地理解和應用該框架。