LLIA – 美團推出的音頻驅(qū)動肖像視頻生成框架

LLIA（Low-Latency Interactive Avatars）是美團公司研發(fā)的一款革新性的實時音頻驅(qū)動肖像視頻生成框架，它基于前沿的擴散模型技術，能夠根據(jù)輸入的音頻信號，實時生成栩栩如生的虛擬形象視頻，實現(xiàn)低延遲、高保真度的流暢交互體驗。

LLIA：開啟沉浸式虛擬互動新篇章

LLIA，全稱為Low-Latency Interactive Avatars（低延遲交互式虛擬形象），是美團公司精心打造的創(chuàng)新框架。它利用先進的擴散模型，將音頻信息轉化為逼真的虛擬形象視頻，帶來前所未有的沉浸式交互體驗。LLIA的核心優(yōu)勢在于其低延遲特性，結合可變長度視頻生成技術、一致性模型訓練策略以及模型量化技術，實現(xiàn)了極速的推理速度。用戶不僅可以體驗到流暢自然的互動，還能通過類別標簽精細控制虛擬形象的狀態(tài)和表情，例如切換說話、傾聽或閑置等狀態(tài)，從而獲得更具個性化的互動體驗。

核心功能一覽

• 實時音頻驅(qū)動的肖像視頻生成：根據(jù)輸入的音頻信號，即時生成對應的肖像視頻，實現(xiàn)語音與表情、動作的完美同步。
• 低延遲交互：在高性能GPU的加持下，LLIA能夠以高幀率（例如384×384分辨率下達到78 FPS）和極低的延遲（例如140 ms）生成視頻，滿足實時交互的需求。
• 多狀態(tài)切換：支持通過類別標簽控制虛擬形象的狀態(tài)，包括說話、傾聽和空閑等，讓虛擬形象能夠根據(jù)場景做出自然的反應。
• 面部表情控制：利用肖像動畫技術，對參考圖像的表情進行精細調(diào)整，從而實現(xiàn)對生成視頻中面部表情的精細控制，增強虛擬形象的表現(xiàn)力。

技術揭秘：LLIA背后的創(chuàng)新

LLIA的卓越表現(xiàn)源于其獨特的技術組合：

• 擴散模型架構：LLIA以擴散模型為基石，憑借其強大的生成能力和高保真度輸出，為高質(zhì)量視頻生成奠定了基礎。
• 可變長度視頻生成：通過動態(tài)訓練策略，LLIA能夠在推理時生成不同長度的視頻片段，在降低延遲的同時，確保視頻質(zhì)量。
• 一致性模型（Consistency Models）：引入一致性模型和判別器，LLIA能夠在更少的采樣步驟下生成高質(zhì)量視頻，從而顯著提升推理速度。
• 模型量化與并行化：通過模型量化（如INT8量化）和流水線并行技術，LLIA進一步優(yōu)化推理性能，降低計算資源需求。
• 條件輸入與控制：借助類別標簽和肖像動畫技術，LLIA能夠根據(jù)輸入音頻的特征，動態(tài)調(diào)整虛擬形象的狀態(tài)和表情，實現(xiàn)流暢自然的交互效果。
• 高質(zhì)量數(shù)據(jù)集：LLIA基于超過100小時的高質(zhì)量數(shù)據(jù)集進行訓練，涵蓋開源數(shù)據(jù)、網(wǎng)絡收集數(shù)據(jù)和合成數(shù)據(jù)，從而提升模型在不同場景下的表現(xiàn)能力。

官方網(wǎng)站

了解更多關于LLIA的信息，請訪問官方網(wǎng)站：https://meigen-ai.github.io/llia/

應用場景展望

• 虛擬面試：打造逼真的虛擬面試官或應聘者，通過實時的表情和動作反饋，增強面試的真實感和互動性。
• 手機機器人：為機器人賦予生動的虛擬形象，根據(jù)語音輸入實時生成表情和動作，提升用戶交互體驗。
• 虛擬客服：創(chuàng)建虛擬客服代表，實時響應客戶語音，用自然的表情和動作提升客戶滿意度。
• 在線教育：生成虛擬教師或助教，根據(jù)教學內(nèi)容和學生反饋實時調(diào)整表情和動作，增強教學互動性。
• 虛擬社交：為用戶生成個性化的虛擬形象，通過語音控制表情和動作，實現(xiàn)更加真實自然的社交體驗。

常見問題解答

Q: LLIA的延遲有多低？

A: 在高性能GPU上，LLIA能夠?qū)崿F(xiàn)低至140 ms的延遲，實現(xiàn)流暢的實時交互。

Q: LLIA支持哪些類型的虛擬形象？

A: LLIA可以根據(jù)用戶需求，生成各種類型的虛擬形象，包括人物、動物等。

Q: 如何控制LLIA生成的虛擬形象的狀態(tài)？

A: LLIA支持通過類別標簽控制虛擬形象的狀態(tài)，例如說話、傾聽、空閑等。

Q: LLIA是否支持定制化？

A: 是的，LLIA提供了靈活的定制選項，可以根據(jù)用戶的具體需求進行調(diào)整。