INFP：基于音頻驅(qū)動的真實(shí)感面部表情與頭部姿態(tài)生成AI框架

INFP是一種音頻驅(qū)動的頭部生成框架，專為雙人對話交互而設(shè)計(jì)，能夠在對話音頻的引導(dǎo)下自動進(jìn)行角色的轉(zhuǎn)換，無需手動干預(yù)。該框架由兩個階段組成：基于動作的頭部模仿階段和音頻引導(dǎo)的動作生成階段，經(jīng)過實(shí)驗(yàn)和可視化分析，驗(yàn)證了其卓越的性能和有效性。此外，INFP還提出了一個大規(guī)模的雙人對話數(shù)據(jù)集DyConv，以促進(jìn)該研究領(lǐng)域的進(jìn)一步發(fā)展。

INFP是什么

INFP是一種音頻驅(qū)動的頭部生成框架，旨在提升雙人對話交互的體驗(yàn)。該系統(tǒng)能夠自動識別并轉(zhuǎn)換對話中的角色，省去手動分配角色和角色切換的繁瑣過程。INFP由兩個主要階段構(gòu)成：第一階段是基于動作的頭部模仿，而第二階段則是音頻引導(dǎo)的動作生成。通過實(shí)驗(yàn)和可視化結(jié)果，INFP顯示出其在此領(lǐng)域的優(yōu)越性和實(shí)用性。此外，INFP還推出了大規(guī)模雙人對話數(shù)據(jù)集DyConv，以支持相關(guān)研究的進(jìn)步。

INFP的主要功能

• 自動角色轉(zhuǎn)換：在雙人對話中，INFP能夠自動識別并切換角色，提升交互的自然性和流暢性，無需用戶手動操作。
• 高效輕量：INFP不僅功能強(qiáng)大，且具備輕量化特性。在Nvidia Tesla A10上，其推理速度超過40 fps，支持實(shí)時智能代理交互，適用于代理之間或人與代理的溝通。
• 交互式頭部生成：INFP的兩個關(guān)鍵階段包括基于的頭部模仿和音頻引導(dǎo)的生成。第一階段將真實(shí)對話視頻中的面部交流行為編碼為低維潛在空間，第二階段則將音頻輸入映射到這些潛在代碼，從而實(shí)現(xiàn)音頻驅(qū)動的頭部生成。
• 大規(guī)模雙人對話數(shù)據(jù)集DyConv：為推動該領(lǐng)域的研究，INFP推出了DyConv數(shù)據(jù)集，收錄了來自互聯(lián)網(wǎng)的豐富雙人對話樣本。

INFP的技術(shù)原理

• 基于的頭部模仿階段：在此階段，框架通過學(xué)習(xí)將實(shí)際對話視頻中的面部交流行為映射到低維潛在空間，從而提取出可用于驅(qū)動靜態(tài)圖像動畫的潛在代碼。
• 音頻引導(dǎo)生成階段：在此階段，框架實(shí)現(xiàn)了從輸入雙通道音頻到潛在代碼的映射，通過去噪處理，為交互場景提供音頻驅(qū)動的頭部生成。
• 實(shí)時互動與風(fēng)格控制：INFP支持實(shí)時互動，用戶可以隨時打斷或回應(yīng)虛擬形象。此外，INFP還能夠提取任意肖像視頻的風(fēng)格向量，實(shí)現(xiàn)對生成結(jié)果中情緒或態(tài)度的全局控制。

INFP的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://grisoon.github.io/INFP/
• arXiv技術(shù)論文：https://www.arxiv.org/pdf/2412.04037

INFP的應(yīng)用場景

• 視頻會議與虛擬助手：INFP框架能夠?qū)崿F(xiàn)高度真實(shí)感、交互性和實(shí)時性，適合于視頻會議和虛擬助手等實(shí)時場景，提供更自然流暢的交互體驗(yàn)。
• 社交媒體與互動娛樂：在社交媒體和互動娛樂應(yīng)用中，INFP可用于生成自然表情和頭部動作的交互式頭像，提升用戶的互動體驗(yàn)。
• 教育培訓(xùn)：INFP能夠創(chuàng)建虛擬教師或培訓(xùn)師，提供生動且互動的教學(xué)體驗(yàn)。
• 客戶服務(wù)：在客戶服務(wù)領(lǐng)域，INFP可用于生成虛擬客服代表，提供更加人性化的服務(wù)體驗(yàn)。
• 廣告與營銷：INFP可以用于創(chuàng)建吸引人的虛擬代言人，增強(qiáng)廣告和營銷活動的互動性和真實(shí)感。
• 游戲與模擬：在游戲和模擬環(huán)境中，INFP可以創(chuàng)建更加真實(shí)和互動的角色，提升游戲的沉浸感和互動性。

常見問題

關(guān)于INFP的使用和功能，用戶常常會有以下疑問：

• INFP適合哪些平臺？：INFP設(shè)計(jì)適用于多種平臺，包括PC和移動設(shè)備，能夠在多種環(huán)境中提供良好的用戶體驗(yàn)。
• 如何獲取INFP的相關(guān)資源？：用戶可以通過訪問INFP的官方網(wǎng)站和arXiv技術(shù)論文獲取相關(guān)資源和文檔。
• 是否需要專業(yè)知識才能使用INFP？：雖然INFP的設(shè)計(jì)考慮到了用戶的易用性，但具備一定的技術(shù)背景將有助于更好地理解和應(yīng)用該框架。